检索结果-内蒙古大学图书馆

该文着重研究表格数据的抽取及分割.该文提出三类表格的手写数字抽取的方法:①利用框内顶点抽取手写数字.它的优点是对字符与边框没有太多的限制;②利用空表抽取手写数字.其特点是处理速度快,对表格的适应性强,对规则或不规则的表格均能适用;③采用分色原理抽取手写数字,适用于背景信息的色彩值与手写数字的色彩值差别较大的表格.它的优点抽取速度快,并允许数字的书写有较大的灵活性.该文介绍两个实际的表格数据自动录入系统—统计报表自动录入系统和储蓄凭条自动录入系统.系统中分别采用了不同的表格数据抽取方法和三级数字串分割方法.此外,简要阐述了一些特殊的处理方法,如:扫描仪参数的设定、数据库的编程接口等.

关键词：手写数字表格数据自动录入数据抽取数字分割

来源：评论

学校读者我要写书评

暂无评论

表格数据的采集和处理

表格数据的采集和处理

引用

作者：王小凤苏州大学

学位级别：硕士

通常情况下，在企事业单位的日常办公过程中人们往往需要使用大量的表格来统计并组织各类数据信息，这是一件比较繁复的工作。“WebTable数据采集和处理”系统是一个基于网络的办公自动化软件。该软件可以利用网络来完成表格数据的分布... 详细信息

通常情况下，在企事业单位的日常办公过程中人们往往需要使用大量的表格来统计并组织各类数据信息，这是一件比较繁复的工作。“WebTable数据采集和处理”系统是一个基于网络的办公自动化软件。该软件可以利用网络来完成表格数据的分布式采集工作，同时它还提供了采集数据的动态管理功能。使用本系统后，各类办公人员不仅可以自动生成、发布表格网页，完成表格数据的自动采集工作，而且可以灵活有效地管理所采集到的表格数据，完成表格数据的查询、打印工作。本系统用户界面友好、可操作性强，系统功能实用性强，具有灵活可扩展等特点。本系统可以很好地提高办公效率，可广泛应用于各企事业单位的日常办公。本文首先介绍了“WebTable数据采集和处理”系统的总体设计方案，包括系统的应用需求分析、功能设计目标等内容；然后描述了Web表格数据的采集过程；重点介绍了Web表格数据管理功能的具体实现，即如何实现表格数据的动态多条件组合查询、模糊查询以及动态的通用数据报表打印等系统功能；最后，对系统实现的不足之处进行了分析并提出了一些改进的思想。

关键词：数据采集表格数据组合查询模糊查询动态报表

来源：评论

学校读者我要写书评

暂无评论

表格数据结构化转换方法的研究

表格数据结构化转换方法的研究

引用

作者：郝泽兴内蒙古师范大学

学位级别：硕士

生活中有结构化、半结构化和非结构化三类数据。相比于结构化数据,半结构化和非结构化数据具有较高的价值密度,但由于不能直接进行存储和分析,数据挖掘工作存在很多不便。表格数据在生活信息传递中占较大比重,内容丰富,是数据的重要承... 详细信息

生活中有结构化、半结构化和非结构化三类数据。相比于结构化数据,半结构化和非结构化数据具有较高的价值密度,但由于不能直接进行存储和分析,数据挖掘工作存在很多不便。表格数据在生活信息传递中占较大比重,内容丰富,是数据的重要承载形式。因此本文以表格数据为研究对象,针对图像型表格数据和电子表格数据的结构化转换方法进行了研究。通过对国内外相关文献进行深入分析,发现现有的数据结构化转换方法主要包括数据抽取和数据组织两个步骤。电子表格的数据抽取较为简单,只需要使用API(Application Programming Interface)将数据读取缓存即可。图像型表格的数据无法直接抽取,需要先将其转换为电子表格数据再完成数据抽取部分。数据组织则需要按照数据间的位置关系确定逻辑关系,在保持逻辑关系不变的前提下对数据进行处理,将其转换为符合数据库存储的结构化数据形式。为了将图像型表格数据重绘为电子表格数据,本文对表格图像的处理方法进行了设计。首先对图像进行倾斜校正,保证后续OCR(Optical Character Recognition)的识别效果;然后使用LSD(Line Segment Detector)算法检测表格中的直线特征,通过筛选确定表格框架的线特征信息;使用Harris算法获取图像型表格的角点特征,对结果进行聚类提高定位精度,基于线特性信息完成表格框架角点的剔除与提取;最后切分识别单元格图像,依据点、线及文字信息生成对应的电子表格。为了提高算法整体的抗干扰能力加入了边缘检测技术,对比检测效果后选定Canny算子为实验对象,针对其在实际应用中出现的问题进行了部分改进。在Python3.7.0环境下对改进算法进行了实验验证,结果表明本文算法对边缘的保护效果明显,图像处理的质量好,检测结果连接平滑,有效提高了边缘检测的效果,可以满足图像型表格的边缘检测需求。在电子表格数据结构化转换的过程中,把整体表格划分为索引区、标题区和数据区,通过Python提供的docx接口抽取各区内数据并记录数据间的逻辑关系,按照树形结构合并压缩标题区内容,遵循数据间的逻辑关系重新组织表格数据使之转换为结构化数据,将转换后的数据分别存储到XML文件和数据库中。测试结果表明,本文方法能够比较准确的完成图像型表格数据的特征信息提取,可以将图像型表格数据重绘为电子表格数据,电子表格数据可以进行结构化转换与存储。表格数据结构化转换的实现,为表格数据的有效利用奠定了良好基础。

关键词：表格数据边缘检测边窗高斯滤波特征检测数据结构化

来源：评论

学校读者我要写书评

暂无评论

开放数据背景下表格数据的结构元数据及语义标注

开放数据背景下表格数据的结构元数据及语义标注

引用

作者：李昊然大连海事大学

学位级别：硕士

在数字时代,数据是社会和商业活动的关键资源,其中大部分是由政府创建或持有。通过开放数据,政府可以帮助推动创造创新的商业和服务,提供社会和商业价值。开放数据不仅要求在各平台上发布大量的数据,同时要建立高效的数据管理方式,制定... 详细信息

在数字时代,数据是社会和商业活动的关键资源,其中大部分是由政府创建或持有。通过开放数据,政府可以帮助推动创造创新的商业和服务,提供社会和商业价值。开放数据不仅要求在各平台上发布大量的数据,同时要建立高效的数据管理方式,制定统一标准,聚合分散数据,消除数据孤岛,提高数据集的可发现性,从而降低数据用户发布和获取数据资源的成本,激活更多数据成果。目前,我国已上线140余个政府开放平台,基本涵盖我国大部分省、市及地区,平台发布数据集总量达98558个,其中大部分数据发布的形式是表格形式。然而,在推广使用的过程中需要各种各样的描述信息,其中就包括结构元数据。但是目前我国数据管理手段单一,对于结构元数据还存在缺乏同一标准,不规范、不合理,互操作性差等问题。在此背景下,本文的主要工作如下: (1)国内外结构元数据建设现状调研。对国内外表格数据分布情况、开放数据标准建设情况、结构元数据使用情况进行详细调研,归纳总结出常见的结构元数据质量问题,涵盖2个层次、6个维度,共14种质量问题。结合对英、美和欧盟等具有代表性的开放数据平台的数据标准建设、元数据项定义情况以及应用情况的学习与借鉴,较为全面地给出各数据项间的比较,总结我国结构元数据建设问题,为本文结构元数据本体建设提供基础。 (2)构建表格数据结构元数据本体。首先,通过对我国开放数据表格结构调查研究,引出表格数据的结构模型。接着,详细调研常用的描述表格结构的推荐标准,保证模型构建的通用性和合理性。最后基于“七步法”建立表格数据结构元数据本体,并对调研平台中发布的数据集进行实例化描述,证明本体可用性和兼容性。 (3)提出表格数据语义标注框架及其可发现性改进方案。以结构元数据本体为基础,提出表格数据资源获取、数据处理、数据剖析、元数据映射、数据抽取、CSV标注代码生成、验证和再发布等方法,并结合Google富媒体搜索框架提升数据资源可发现性。最后,利用表格数据资源语义标注框架,针对国内5个代表性平台医疗领域数据进行CSV标注,最终给出CSV富媒体检索示例。本文基于W3C最佳实践指南,在描述元数据基础上,借鉴和参考国际先进经验,结合表格数据结构元数据,提出开放数据背景下表格数据的结构元数据模型(ODCSV)。同时给出语义标注方案,旨在为我国国家及地方政府开放数据平台的结构元数据发展工作提供一定的借鉴和参考。

关键词：开放政府数据结构元数据 CSV语义标注表格数据

来源：评论

学校读者我要写书评

暂无评论

基于图重构的表格数据缺失值插补研究

基于图重构的表格数据缺失值插补研究

引用

作者：何姣姣中南大学

学位级别：硕士

表格数据是现实生活中最常见的数据类型之一,但是由于种种原因,表格数据中通常存在缺失值。缺失值的存在会导致信息的丢失,同时会使得许多依赖数据完整性的算法难以应用。因此,对表格数据进行缺失值插补已经成为数据挖掘中不可缺少的一... 详细信息

表格数据是现实生活中最常见的数据类型之一,但是由于种种原因,表格数据中通常存在缺失值。缺失值的存在会导致信息的丢失,同时会使得许多依赖数据完整性的算法难以应用。因此,对表格数据进行缺失值插补已经成为数据挖掘中不可缺少的一步。传统的基于统计学习的插补方法倾向于对数据分布做出很强的统计假设并且通常对包含连续数据的混合数据插补效果不够理想。基于机器学习的插补方法将缺失值插补问题转化为机器学习中的预测问题来解决。图,作为一种可以有效的表示实体之间关系的抽象结构,近期受到研究者们的广泛关注,他们提出用图神经网络来进行表格数据的关系建模,并取得了很好的效果。然而,这些方法的效果严重依赖于从数据中构建的图的质量,目前的将表格数据转换为简单的二部图的方法图并不能有效的表示数据间的关系,从而限制了数据缺失值插补的效果。为了生成更加符合数据之间关系的图结构,本文提出了对表格数据进行结构发现的方法,对简单的二部图数据进行重构,使得生成重构图更好的包含表格数据中的结构信息,并提出了适应于新的图结构的插补框架对数据缺失值进行填补。本文的主要贡献点如下:(1)提出了一个基于图重构的图学习插补框架,首先对表格数据进行结构发现,根据得到结构信息对图数据进行重构。由于重构图和原始图数据有着明显的差异,框架还提出了针对重构图进行消息传播和信息聚合的机制,在重构图上生成节点嵌入从而执行链路预测任务以完成缺失值插补。(2)提出了一种基于关联规则的图重构方案,采用FP-Growth算法对表格数据中存在的结构进行挖掘,然后根据生成的结构信息即关联规则对图数据进行重构。该方案可以对主要由分类数据构成的表格数据缺失值进行有效的插补。(3)针对基于关联规则的图重构方法需要对连续数据执行分箱操作,容易受到分箱算法的影响,本文提出了一种基于图自编码器的图重构方案。通过图自编码器,构建各个样本在结构空间的低维嵌入,并通过构建样本间的边缘概率矩阵来指导图重构过程。该方案能够对混合类型的数据执行有效的插补。我们在7个公开数据集上测试了基于关联规则的图重构方案,其插补准确度在6个数据集上相比于8种缺失值插补基线模型均有所提升。同时,我们在12个数据集上测试了基于图自编码器的图重构方案,在所有数据集上相比于最佳的基线模型插补准确度提升了1%～20%。图29幅,表13个,参考文献70篇

关键词：表格数据缺失值插补图神经网络图重构

来源：评论

学校读者我要写书评

暂无评论

一个表格数据自动录入系统的研制

引用

计算机应用 1993年第6期13卷 35-37页

作者：叶芗芸陈浩甘强韦钰东南大学生物医学工程系 210018

本文作者从实用角度出发,利用人工神经网络原理,开发研制了一套完整的表格自动录入系统,该系统可在DOS系统下对任意格式的表格进行学习和识别。本文将介绍该系统的构成及软硬件实现,并讨论算法参数的选择。

关键词：字符识别人工神经网络表格数据

来源：评论

学校读者我要写书评

暂无评论

Wed网页表格数据提取与应用

Wed网页表格数据提取与应用

引用

作者：陈波大连理工大学

学位级别：硕士

Web网页，既有文本型的，也有表格数据型的。表格数据型网页大部分是由数据密集型网站发布的，这些数据基本上是由后台数据库根据用户的要求并使用一定的脚本程序形成的。这样数据对电子商务是非常有用的。但是，Web网页主要是供浏览的... 详细信息

Web网页，既有文本型的，也有表格数据型的。表格数据型网页大部分是由数据密集型网站发布的，这些数据基本上是由后台数据库根据用户的要求并使用一定的脚本程序形成的。这样数据对电子商务是非常有用的。但是，Web网页主要是供浏览的，很难提取和使用。怎样提取网页数据是我们面临的一个新问题。\n 本文分析了网页上数据结构和特点。绝大多数数据信息为了美观而用表格(table标签)来排版表示，这些表格只描述数据怎样显示而不描述数据的内容，也不标志数据的来源。由后台数据库提供的数据也存在于这样的复杂的嵌套表格中，和其它的文本数据杂合在一起。因此，提取这些数据首先要要识别出含有表格数据的table标签和为了显示格式的普通table标签。同时，现在大多数Web网页不符合W3C规范的XHTML格式，而且很多网页存在着大量的错误，还必须对Web网页进行修正和规范。我们就是重点解决这些问题。\n 论文基于普通的HTML格式的Web网页，使用开放源代码JAVA语言的Tidy工具对网页进行错误纠正和规范，对网页上表格数据的特点进行了分析和总结，分离出含有表格数据的table标签。使用SAX解析器结合对表格数据型数据的过滤和提取算法，提取网页中的数据，设计了适合于网页表格数据的数据存储结构，将提取的数据转存到MySQL数据库，供应用程序使用。\n 本文以基金网页为例，实现简单表格数据型数据的提取、存储和分析应用。论文中的实例可以从272支基金的主页上下载以表格数据形式存在的每日净值信息，也可以从开放式基金每日净值的主页上下载当天的更新数据。将下载的数据存入MySQL数据库，使用数据库存储的数据，对基金净值增长率进行分析排序，从而显示各支基金的业绩情况。此应用具有很高的商业价值。

关键词： Wed网页网页数据表格数据数据提取

来源：评论

学校读者我要写书评

暂无评论

Web表格数据提取与分析系统的设计与实现

Web表格数据提取与分析系统的设计与实现

引用

作者：曹贞兴哈尔滨工业大学

学位级别：硕士

数据表格作为网页数据展示的一种形式,开始越来越多的出现在各种领域的web页面中,因其具有简洁的展示方式以及显而易见地描述数据关系的优势而被越来越多的人应用到网页中并成为Web信息抽取中的热点。然而人们往往忽略表格数据自有的不... 详细信息

数据表格作为网页数据展示的一种形式,开始越来越多的出现在各种领域的web页面中,因其具有简洁的展示方式以及显而易见地描述数据关系的优势而被越来越多的人应用到网页中并成为Web信息抽取中的热点。然而人们往往忽略表格数据自有的不足,通常表头(下文称属性名)决定一切,而现实中,Web上的表格经常出现无属性名或属性名难以理解的情况。因此,在自动分析修复表格的表头信息方面的研究将在Web挖掘、数据理解及决策支持方面提供极大的帮助,同时也将会被越来越多的研究者重视。论文开始讲述了本课题的研究背景、目的、意义及相关领域的研究现状,并对本文的主要研究内容进行了阐述。之后详细描述了本课题的需求分析、系统的总体设计、系统各功能模块的详细设计与实现及系统的功能测试与非功能性测试,最后对本文进行了总结及展望。本文的主要研究内容主要有以下三个方面:Web表格数据提取与存储、表格数据分析和属性名自动标注。Web表格数据提取主要实现了对HTML网页的解析、数据表格的识别和表格内数据的提取存储等功能。表格数据分析主要实现对数据的深度分析,由于不同类型的数据具有不同的特征,因此首先对表格数据进行简单分类,不同类型的数据运用不同的处理方法提取特定的特征。本文以数据的结构特征与统计特征作为研究对象,分别利用正则表达式表示数据的结构特征,利用统计分布均值和方差两个参数表示数据的统计特征,并利用大量训练数据建立“属性名-特征值”特征库。在属性名自动标注的研究中,主要完成对特定数据列匹配属性名。本文针对不同数据特征提出了不同的特征匹配策略并建立匹配模型,对于正则表达式表示的结构特征,运用编辑距离算法进行表达式串相似性比较,同时结合简单字符串匹配提高准确性;对于统计分布参数表示的统计特征则利用假设检验知识中的样本均值的检验方法比较两样本间的差异性。最后对于匹配出的候选属性名进行优化,得到最佳属性名。本文实验环节通过利用实验室现有的大量表格数据建立特征库,利用交叉验证的方式优化匹配模型参数(阀值和检验水平),通过多次迭代试验,证明了综合运用正则表达式、统计分布的策略能够很好的解决数据表格属性名修复问题。

关键词： Web挖掘表格数据属性名标注数据特征假设检验

来源：评论

学校读者我要写书评

暂无评论

面向表格数据的深度学习研究

面向表格数据的深度学习研究

引用

作者：王圣举长安大学

学位级别：硕士

表格数据是最常用的数据形式之一,众多关键的深度学习任务均高度依赖于表格数据的支撑,它们在医疗健康、金融业务分析以及异常检测等诸多领域中得到了广泛应用与深入实践。然而,由于现实中的诸多原因,通常会导致表格数据缺失,而深度学... 详细信息

表格数据是最常用的数据形式之一,众多关键的深度学习任务均高度依赖于表格数据的支撑,它们在医疗健康、金融业务分析以及异常检测等诸多领域中得到了广泛应用与深入实践。然而,由于现实中的诸多原因,通常会导致表格数据缺失,而深度学习算法不能直接对含有缺失值的表格数据进行分析,传统的数据插补方法又难以满足需求。此外,对表格数据进行分析时,往往依赖于人工标注信息,然而,对于特定任务而言,获取大量标记数据通常面临着高昂的成本或是难以获取的困境。生成式模型拥有着优越的数据生成能力,是解决缺失问题的有力工具。目前扩散模型已成为生成领域的主流,在计算机视觉任务上取得了优异的成绩,然而扩散模型在生成过程中耗时过长。基于此,本文设计一种基于加速扩散模型的数据插补方法,用于表格数据插补。自监督学习是解决无标签问题的有效方法,其可以从无标签的数据集中学习到对下游任务有用的信息,从而提高下游任务的性能,但当前的自监督学习方法在表格数据预测领域的研究发展尚未成熟,仍存在提升空间。因此,本文围绕基于扩散模型的表格数据插补方法和基于自监督学习的表格数据预测方法进行研究,主要研究内容如下: 1.本文提出基于加速扩散模型的数据插补方法。为了能够在加速扩散模型的生成过程的同时保持模型的生成性能不变,本文在模型的生成阶段采用扩散模型的伪数值方法。通过在多个数据集的实验,验证了提出方法的有效性。 2.本文提出基于对比式自监督学习的表格数据预测方法。使用FT-Transformer作为编码器,并将其与对比学习的训练范式相结合,形成一种有效的自监督学习预训练方法,用以学习表格数据内部的特征表示。实验结果表明,与多层感知机作为编码器相比,FT-Transformer作为编码器可以有助于模型进一步关注表格数据的关键特征信息,从而使得自监督模型更准确地学习数据内部的信息,提高自监督学习的有效性。并且本文在Mo Co v2的基础上使用非对称的网络体系,进一步防止了模型坍塌。

关键词：表格数据扩散模型数据插补 Transformer 自监督学习

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：