检索结果-内蒙古大学图书馆

作者：王鹏北京交通大学

学位级别：硕士

web数据提取技术在网络数据挖掘、情报获取、商业竞争和大数据分析中发挥着重要作用。随着互联网的普及和快速发展,网络中承载的海量数据信息已经成为一个宝贵的资源,但由于web页面难以获取、数据形式不统一,加上随处可见的噪声信息等... 详细信息

web数据提取技术在网络数据挖掘、情报获取、商业竞争和大数据分析中发挥着重要作用。随着互联网的普及和快速发展,网络中承载的海量数据信息已经成为一个宝贵的资源,但由于web页面难以获取、数据形式不统一,加上随处可见的噪声信息等原因使web数据不能得到充分利用。如何有效的抽取web页面中包含的结构化数据成为一个热门的研究方向。本文分析了 web页面获取困难的原因和网页的视觉信息特点,针对DOM树匹配算法、web数据提取规则描述语言和web数据自动化抽取技术进行深入研究,主要工作内容如下:(1)本文对传统DOM树匹配的特点进行剖析,结合web数据自动化提取过程提出了基于XPath和LCS的DOM树匹配算法。该算法不仅降低了DOM树匹配的时间复杂度提升了DOM树匹配的效率,而且结合XPath进行数据抽取提高了数据抽取的准确性。(2)分析了 web2.0中常用的动态网页技术和网页视觉特征,提出了面向提取规则描述的WDERD语言,解决了web数据提取中动态页面难以获取的困难。该语言描述了网页操作、数据标记、循环过程和网页渲染等操作过程,详细描述了web数据提取的整个过程。针对WDERD语言提取规则的生成过程,本文设计了通过Chromium嵌入式框架自定义插件扩展,对用户操作动作和操作页面元素进行记录,自动化生成web数据提取规则的WDERD语言描述,让普通用户可以通过简单页面交互生成WDERD语言规则描述完成web数据的抽取任务。(3)本文设计并实现了基于视觉信息的web数据提取系统。系统分为WDERD语言解析模块、页面获取模块、DOM树匹配模块、数据记录模块、数据项提取模块和数据存储模块。通过与OXPath包装器和八爪鱼数据采集器进行web数据提取实验对比,结果表明基于视觉信息的web数据提取系统在保证web数据提取准确率的同时提升了web数据提取的效率。

关键词： web数据提取视觉信息 DOM树抽取规则描述语言 Ajax动态页面

来源：评论

学校读者我要写书评

暂无评论

基于web数据采集的多系统数据共享

基于Web数据采集的多系统数据共享

引用

中国通信学会信息通信网络技术委员会2015年年会

作者：朱晓亮中国电信股份有限公司无锡分公司政企客户支撑中心

中国电信经过多年的建设,构建了以MBOSS为模型的业务管理支撑体系,通过各类数据接口进行信息共享,完成业务流程。一个业务信息实体,会在多个系统中出现,每个系统实现不同的功能。要完整地体现一个业务实体的全貌,实现业务信息挖掘和比... 详细信息

中国电信经过多年的建设,构建了以MBOSS为模型的业务管理支撑体系,通过各类数据接口进行信息共享,完成业务流程。一个业务信息实体,会在多个系统中出现,每个系统实现不同的功能。要完整地体现一个业务实体的全貌,实现业务信息挖掘和比对工作,需要和系统完成接口,工作量很大。通过web数据提取和挖掘技术,实现业务数据的简单获取,能够以较低的代价获取整个业务实体的信息,具有成本低、结构简单、易维护、可扩展的特点。在定单进度查询应用中获得了成功应用。

关键词： web数据提取正则表达式数据处理

来源：评论

学校读者我要写书评

暂无评论

非结构化数据提取方法研究

非结构化数据提取方法研究

引用

作者：舒鹏西安理工大学

学位级别：硕士

随着计算机的普及和互联网的迅速发展,大量的数据以网页的形式呈现在人们面前。面对这海量数据,人们不知道如何确切描述自身的数据需求,使得直接使用浏览器访问网页以找寻所需数据的效率不断下降,表现出了资源迷向问题:并且,由于web数... 详细信息

随着计算机的普及和互联网的迅速发展,大量的数据以网页的形式呈现在人们面前。面对这海量数据,人们不知道如何确切描述自身的数据需求,使得直接使用浏览器访问网页以找寻所需数据的效率不断下降,表现出了资源迷向问题:并且,由于web数据格式异构性和缺乏关联描述的特点,对于已经获取的大量数据用户难以及时的理解,出现信息过载现象。所以如何将Internet上这些非结构化数据及时准确的提取、过滤和归纳成便于人们查询检索的形式,已经成为了研究开发的熟点。\n 数据提取早期是为了处理纯文本文件,之后还涌现了一些其他的方法,比如机器学习算法,基于Ontology和自然语言理解算法和基于HTML的方法等等。基于不同的方法都可以在不同程度上实现特定数据的提取,可以说各有优缺点。但是限于网页数据的特点,这些数据提取算法在某一领域或是针对特定问题方面还是比较理想,但就其通用性和可维护性方面都不能达到令人满意的程度。\n 本文针对数据源提供网站的特点,结合网络爬虫技术,采用基于DOM树结构的XML和 XPath的方法建立提取规则。这种方法主要是通过在XML文档中寻找与XPath位置路径表达式相匹配的节点,以实现自动对同一站点网页簇数据进行批量提取,达到一次学习多次提取的目的,该方法具有定位准确、提取快速的特点。而且这种规则还可以根据不同网页簇进行修改以适应不同的网页结构,提取结果达到较好的准确率和查全率。

关键词： web数据提取网络爬虫 DOM树 XML文档 XPath位置路径

来源：评论

学校读者我要写书评

暂无评论

基于本体的Deep web数据集成方法研究

基于本体的Deep Web数据集成方法研究

引用

作者：李道申河南科技大学

学位级别：硕士

随着web信息的激增，越来越多的信息开始由静态网页存储的方式向web服务器维护的数据库即Deep web转移。与Surface web相比，Deep web包含的信息具有数量大、质量高、增长快等特征。近年来，对Deep web的研究已成为web搜索领域的热点。D... 详细信息

随着web信息的激增，越来越多的信息开始由静态网页存储的方式向web服务器维护的数据库即Deep web转移。与Surface web相比，Deep web包含的信息具有数量大、质量高、增长快等特征。近年来，对Deep web的研究已成为web搜索领域的热点。 Deep web数据集成研究的目的是实现对各领域Deep web信息的搜索，Deep web数据源发现和查询结果页面的数据提取是该研究的两个关键点。有学者提出了基于本体的数据源发现框架和数据提取算法，目前主流的Deep web数据源发现框架中，本体不能自动扩展，框架缺乏自适应性；运用目前的Deepweb数据提取算法对查询结果页面进行数据提取，存在查全率和查准率较低的问题。针对上述问题，本课题在Deep web数据源发现框架中引入了本体的自动扩展，增加框架的自适应性；采用索引相似度相结合的算法，提高对查询结果页面进行数据提取的查全查准率。本文的研究工作包括以下几个方面： 1.研究基于本体的Deep web数据源发现，采用网页分类、表单内容分类和表单结构分类来确定符合某领域的Deep web查询接口，在网页分类和表单内容分类中增加本体的半自动构建和自动扩展模块。在数据源发现的过程中，以领域专家构建的核心本体为基础，通过提取网页中与本体相似度较高词汇作为预扩展词汇，再结合本体扩展策略对核心本体进行扩展。 2.研究Deep web对查询结果页面的数据提取，提出了索引相似度相结合的数据抽取算法。通过记录查询结果页面中含有关键字的索引，并找到索引最大公共节点，确定查询结果网页的主数据区域；通过计算数据块之间和总的平均相似度，过滤掉平均相似度较小的数据块，舍弃总平均相似度较小的数据抽取结果，完成对主数据区域中数据块的提取。 3.实验证明：上述框架和方法具有一定的可行性。该Deep web数据源发现框架具有了一定的自适应性，可以减少框架中人工构建与扩展本体的资源浪费，索引相似度相结合算法提高了对Deep web查询结果页面中实体抽取的查全率和查准率。

关键词：深度网数据集成本体数据源自适应性 web数据提取

来源：评论

学校读者我要写书评

暂无评论

基于.NET的移动话费详单页面的XML数据提取

引用

计算机系统应用 2011年第4期20卷 189-193页

作者：赵纯施一剑张昱金心宇浙江大学信息与电子工程学系杭州310027

介绍了一种在Microsoft的.NET 3.5框架下,使用***、SgmlReader、LINQ和XML等关键技术,对移动话费详单HTML页面进行自动数据提取的方案。该方案能实现对移动话费详单页面数据信息进行自动搜集的功能,有助于进一步完成对话费详单信息的统... 详细信息

介绍了一种在Microsoft的.NET 3.5框架下,使用***、SgmlReader、LINQ和XML等关键技术,对移动话费详单HTML页面进行自动数据提取的方案。该方案能实现对移动话费详单页面数据信息进行自动搜集的功能,有助于进一步完成对话费详单信息的统计、计算等处理工作。该方案具有简单、易行、高效的特点。

关键词： web数据提取 .NET框架 XML LINQ 话费详单

来源：评论

学校读者我要写书评

暂无评论

web资源质量信息提取与管理技术的研究与实现

Web资源质量信息提取与管理技术的研究与实现

引用

作者：崔慧超西南交通大学

学位级别：硕士

随着web成为世界上最大、类型最齐全的海量信息库,以企业运营分析决策为主的商务智能发展到了一个新的层次。web作为商务智能系统至关重要的数据来源,但是web数据在质量上还存在着诸多问题,如何从互联网中快速高效的获得高质量信息成为... 详细信息

随着web成为世界上最大、类型最齐全的海量信息库,以企业运营分析决策为主的商务智能发展到了一个新的层次。web作为商务智能系统至关重要的数据来源,但是web数据在质量上还存在着诸多问题,如何从互联网中快速高效的获得高质量信息成为迫切需要解决的问题,web资源质量挖掘应运而生。本选题针对web资源质量挖掘的数据源问题,解决对web质量评测数据的提取与集成,构建web资源质量数据仓库,对将来开展基于web资源质量数据Cube的OLAP分析和web资源质量数据的离群点检测等工作有着重要意义。本文首先通过对现有的web数据提取技术的分析与研究,设计并实现一个基于HTML结构的web数据提取系统。整个系统由页面预处理、网页聚类、规则生成和数据提取四个模块构成：预处理模块中采用HtmlCleaner工具对页面进行清洗,将页面文档转换为XML格式并解析为DOM树；网页聚类模块中通过STM算法计算页面相似度,然后根据标签树的距离对web页面进行聚类；规则生成模块采用XPath技术对数据区域进行定位,通过归纳学习的方法对每一个类簇生成相应的规则。最后根据提取规则将页面中的数据内容提取出来。系统通过实验测试证明是实用有效的。最后,通过SQL Server 2005 BI系统对提取到的web资源质量评测数据进行管理,并设计多维数据模型,实现web资源质量数据仓库的构建与部署。

关键词： web资源质量挖掘 web数据提取 DOM web资源质量数据仓库

来源：评论

学校读者我要写书评

暂无评论

XML技术在化学深层网数据提取中的应用

引用

计算机与应用化学 2006年第11期23卷 1137-1141页

作者：卓流艺李晓霞郭力中国科学院过程工程研究所多相反应实验室中国科学院研究生院北京100049

Internet上的化学数据库是宝贵的化学信息资源,如何有效地利用这些数据是化学深层网所要解决的问题。本文总结了化学深层网的特点,基于XML技术实现从数据库检索返回的半结构化HTML页面中提取数据的目标,使之成为可供程序直接调用做进一... 详细信息

Internet上的化学数据库是宝贵的化学信息资源,如何有效地利用这些数据是化学深层网所要解决的问题。本文总结了化学深层网的特点,基于XML技术实现从数据库检索返回的半结构化HTML页面中提取数据的目标,使之成为可供程序直接调用做进一步计算的数据。在数据提取过程中,先采用JTidy规范化HTML,得到格式上完整、内容无误的XHTML文档,利用包含着XPath路径语言的XSLT数据转换模板实现数据转换和提取。其中XPath表达式的优劣决定了XSLT数据转换模板能否长久有效地提取化学数据,文中着重介绍了如何编辑健壮的XPath表达式,强调了XPath表达式应利用内容和属性特征实现对源树中数据的定位,并尽可能地降低表达式之间的耦合度,前瞻性地预测化学站点可能出现的变化并在XSLT数据转换模板中采取相应的措施以提高表达式的长期有效性。为创建化学深层网数据提取的XSLT数据提取模板提供方法指导。

关键词： web数据提取化学深层网 XML XSLT XPath 化学数据库

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：