检索结果-内蒙古大学图书馆

作者：陈雪杰哈尔滨工程大学

学位级别：硕士

当今,互联网已成为信息传播与共享的重要资源。由于web数据的半结构化、异构、海量等特点,使得传统的数据挖掘技术不能直接运用到web页面数据源上。因此先要对半结构化的web页面数据进行抽取有用的信息,于是web数据抽取技术应运而生。由... 详细信息

当今,互联网已成为信息传播与共享的重要资源。由于web数据的半结构化、异构、海量等特点,使得传统的数据挖掘技术不能直接运用到web页面数据源上。因此先要对半结构化的web页面数据进行抽取有用的信息,于是web数据抽取技术应运而生。由于XML的结构化、可扩展性等众多优点,因此将web数据抽取的结果以XML形式输出更适合于数据挖掘的需要。本文首先介绍了当前信息抽取理论的研究现状和热点技术,重点分析web页面数据的特征并研究了web页面数据抽取技术。本文通过分析web页面的视觉特征对DOM树进行扩展,结合扩展的DOM树对简单树匹配STM算法进行改进并应用于本文的抽取过程中。然后本文在Bing Li等人提出的web自动抽取系统基础上结合页面视觉特征对MDR算法进行改进。最后,本文为了提高算法的数据对象识别能力引入了抽取模式的概念,给出了抽取模式树结构,并应用于抽取中。实验表明,抽取模式树的引入提高了数据抽取的召回率。最后将抽取结果输出为XML文档。最后,本文对算法进行了对比实验,并对实验结果进行分析,论述了算法的优点和不足。

关键词： web数据挖掘 web数据抽取自动抽取扩展DOM树信息抽取模式

来源：评论

学校读者我要写书评

暂无评论

web数据抽取技术的研究

Web数据抽取技术的研究

引用

作者：常丽君南京财经大学

学位级别：硕士

随着当今世界互联网的快速发展,web已经发展成为一个巨大的和共享的信息空间,这些大量的数据可以为进一步的数据集成、数据挖掘等系统提供数据支持,web数据抽取正是为了研究如何从网页中将用户可能感兴趣的数据抽取出来。本文主要针对... 详细信息

随着当今世界互联网的快速发展,web已经发展成为一个巨大的和共享的信息空间,这些大量的数据可以为进一步的数据集成、数据挖掘等系统提供数据支持,web数据抽取正是为了研究如何从网页中将用户可能感兴趣的数据抽取出来。本文主要针对列表页和内容页两种形式的网页分别进行了研究。列表页是指包含一个或多个对象列表类型的网页,至今已经有一些关于自动抽取列表页数据的研究,但由于网页的组织形式多变、模板不统一,存在以下问题：列表页数据记录的组织方式具有多样性,从而导致可能会将多条真正的数据记录当作一条数据记录抽取出来；已有的简单树匹配算法算法只考虑节点的标签名,而实际的网页中数据记录的很多字段的标签名是相同的,导致两条数据记录存在多个有着相同最高分的匹配。针对以上问题,本文在挖掘出数据区域之后,对构成数据区域的可能数据记录节点进行进一步地分析,从而识别出真正的数据记录,然后在已有的简单树匹配的基础上加入了对节点所包含内容的考虑,提高了抽取数据字段的准确率。无结构内容页侧重对一个对象的具体描述,本文实现了一种基于分块思想的内容页正文信息抽取算法。在对网页进行分块的阶段,采用基于DOM树结构和页面的视觉信息的算法,将网页进行合理地分块。得到合理的分块结果之后,采用分类学习方法对训练集进行学习,建立块的空间特征到块是否属于正文的映射关系,实现正文块的选取。对于结构型的内容页,通过对两个相似页面的匹配,实现对象的属性值数据的自动抽取。由于结构型内容页的页面四周会包含一些广告等噪音数据,而相似页面之间的广告等数据可能不同,这些会影响页面之间的匹配,误将广告等数据抽取出来。论文对此作了改进,在对两个页面匹配之前,采用论文中实现的无结构内容页正文抽取技术先抽取出正文,接下来再采用匹配算法对抽取得到的正文匹配,进而提高了抽取属性值等数据的准确率。

关键词： web数据抽取列表页 Depta 内容页 RoadRunner

来源：评论

学校读者我要写书评

暂无评论

基于子树匹配的交互式web数据抽取方法

引用

计算机工程 2006年第9期32卷 78-80页

作者：张慧颖曲伟天津大学管理学院天津300072

查询相关的web页面中的数据记录之间具有极高的代码结构相似性,web数据记录对应的DOM子树之间自然也就具有很高的结构相似性。针对查询相关的web页面的特点,提出了一种基于DOM子树匹配的交互式web数据抽取方法,实验证明,该方法能保证很... 详细信息

查询相关的web页面中的数据记录之间具有极高的代码结构相似性,web数据记录对应的DOM子树之间自然也就具有很高的结构相似性。针对查询相关的web页面的特点,提出了一种基于DOM子树匹配的交互式web数据抽取方法,实验证明,该方法能保证很高的数据抽取查全率和准确率。

关键词： web数据抽取 Top-down树匹配 DOM

来源：评论

学校读者我要写书评

暂无评论

web数据抽取技术的研究和探讨

引用

电子世界 2015年第13期 36-37页

作者：仇岗杨琴昌吉学院计算机工程系乌鲁木齐八一中学义教部

随着电子商务的迅猛发展,网络购物受到了大多数人的青睐,怎么样才能从众多的购物网站中找到自己需要的产品,是数据抽取技术的焦点。由于web数据具有半结构化的特征,使得数据抽取技术更加复杂。如何发展web数据抽取技术要充分利用网络资... 详细信息

随着电子商务的迅猛发展,网络购物受到了大多数人的青睐,怎么样才能从众多的购物网站中找到自己需要的产品,是数据抽取技术的焦点。由于web数据具有半结构化的特征,使得数据抽取技术更加复杂。如何发展web数据抽取技术要充分利用网络资源,发挥web数据抽取潜力。

关键词： web数据抽取 Xpath 信息抽取模型

来源：评论

学校读者我要写书评

暂无评论

Deep web数据抽取关键技术研究

Deep Web数据抽取关键技术研究

引用

作者：蔡益清山东大学

学位级别：硕士

随着互联网技术及其相关技术的迅猛发展,web已经逐渐成为最主要的信息来源。有效地获取并集成web数据,能够为数据的分析挖掘提供强有力的帮助,具有十分重要的应用价值和意义。但是仅通过手工的方式对这些信息进行集成,在实际当中是一件... 详细信息

随着互联网技术及其相关技术的迅猛发展,web已经逐渐成为最主要的信息来源。有效地获取并集成web数据,能够为数据的分析挖掘提供强有力的帮助,具有十分重要的应用价值和意义。但是仅通过手工的方式对这些信息进行集成,在实际当中是一件非常困难的事情,难以有效利用web信息。因此,web数据自动化集成技术成为研究热点。web数据自动抽取即是web数据集成自动化中的关键问题之一。 web数据抽取包含了web数据的提取和语义标注。web数据抽取就是从web页面中识别并提取出用户感兴趣的信息,然后对这些信息进行处理,形成更为结构化且语义清晰,能被计算机理解处理的数据。按照获取信息在web的深度,可将web划分为Surface web和Deep web。目前,Deep web的信息量已经远远超过了Surface web,数据质量也比Surfaceweb高,具有更高的应用价值。本论文以Deep web数据集成系统为目标应用,面向Deep web中异构的海量数据,针对Deep web数据集成中的若干关键问题,所提出的创新性的工作主要包括以下两个方面。 (1)基于字符串模式匹配的页面模板生成方法每个Deep web站点都会根据自己网站的主题,采用不同的布局风格设计页面结构,展示页面数据,不同站点的网页设计各异。因此,从不同的数据源抽取数据,就需要一些有效的工具,提供相应的服务。目前主要是通过编写包装器,从HTML页面上抽取数据。在许多抽取包装器的研究中,构造web站点的页面模板都是研究开始必须解决的一个关键问题。现有的页面模板生成方法难以处理复杂的页面结构,影响了页面模板的准确性和可靠性。本文提出了一个新颖有效的方法能够自动的构造web站点的页面模板。该方法是基于字符串模式匹配自动搜寻web页面中的嵌套结构和重复结构,能够处理复杂页面,从而构造web站点的页面模板。 (2)基于页面视觉特征的web数据语义标注方法现有的web数据语义标注方法,多从数据本身出发,围绕数据项语义特征,模式特征以及数据项之间的逻辑关系,来分析数据的语义。在很多情况下,仅通过分析数据的语义特征,模式特征等,难以准确标注两个位置邻近,且语义特征或模式特征十分类似的数据项。本文提出了一种基于页面视觉特征约束条件随机场的web数据标注方法,通过引入web页面视觉特征作为条件随机场标注模型的约束条件提高语义标注的性能。首先,在对同类web页面进行数据抽取过程中,可以容易地获得数据的页面视觉特征,从而生成每条数据记录对应的页面视觉特征序列。通过分析一部分样本数据的页面视觉特征序列,可以获得该类页面每种语义数据项的公共视觉特征,以此征构建每个语义数据项对应的页面视觉特征约束条件。然后,将所构建的约束条件引入传统条件随机场模型中,建构页面视觉特征约束条件随机场模型,对web数据进行语义标注。通过在标注模型中引入数据的页面视觉特征,能够准确标注两个位置邻近,且语义特征或模式特征十分类似的数据项,有效地提高了web语义标注的准确性。

关键词： web数据集成 web数据抽取 web页面模板 web数据语义标注

来源：评论

学校读者我要写书评

暂无评论

基于树匹配的交互式web数据抽取技术的研究

基于树匹配的交互式Web数据抽取技术的研究

引用

作者：曲伟天津大学

学位级别：硕士

网页浏览和搜索引擎的关键字检索是人们从Internet上获取信息的传统方法,其局限性主要表现在:网页浏览方式很难在Internet上定位特定的知识;而搜索引擎却很容易将所需知识淹没在大量的无关网页中。目前出现了一些全新的基于web的应用,... 详细信息

网页浏览和搜索引擎的关键字检索是人们从Internet上获取信息的传统方法,其局限性主要表现在:网页浏览方式很难在Internet上定位特定的知识;而搜索引擎却很容易将所需知识淹没在大量的无关网页中。目前出现了一些全新的基于web的应用,例如监控股票市场的及时行情,比较各个站点的商品价格等等。仅凭搜索引擎和web查询技术无法满足这些新兴的需求。与信息检索技术不同的是,数据抽取技术更侧重于从web文档集合中发现相关文档,并从中抽出用户关心的数据,即将HTML等半结构化的数据转换成为结构化的数据。大量的网上数据信息被保存在网站的后台数据库中,web数据库依据用户的特殊的查询要求或条件动态的生成web页面,即查询相关的web。web页面中的数据记录之间具有极高的代码结构相似性,web数据记录对应的DOM子树之间自然也就具有很高的结构相似性。本文从分析web文档与DOM树的对应关系入手,提出了一种基于子树匹配的交互式抽取方法,XHTML对应的DOM树是该方法的web数据结构化和分析抽取的基础。方法依据web数据记录和DOM子树的一一对应关系,通过分析一条或几条数据记录的代码结构,实现对全部类似数据记录的发现和抽出。方法通过与用户交互的方式生成数据抽取规则,并将多序列比对算法引入到抽取规则生成过程;将子树的划分引入到数据抽取过程中,结合TOP-DOWN树匹配算法,实现对DOM树中的数据记录的发现和抽出。应用基于组件的模式对原型系统进行了实现,试验证明,基于子树匹配的交互式抽取方法在保证抽取高效率的同时,其抽取查全率和准确率都可以达到很高的水平。

关键词： web数据抽取 TOP-DOWN树匹配 DOM 组件系统

来源：评论

学校读者我要写书评

暂无评论

基于网页结构的web数据抽取方法研究

基于网页结构的Web数据抽取方法研究

引用

作者：朱汉超武汉科技大学

学位级别：硕士

随着互联网的飞速发展,目前web上的数据泛滥,在海量的数据中人们无法快速准确地找到需要的数据,如何快速准确地得到这些数据是亟待解决的问题。web数据抽取技术已成为当今研究的一个热点。利用web数据抽取技术,通过对特定网站或网页中... 详细信息

随着互联网的飞速发展,目前web上的数据泛滥,在海量的数据中人们无法快速准确地找到需要的数据,如何快速准确地得到这些数据是亟待解决的问题。web数据抽取技术已成为当今研究的一个热点。利用web数据抽取技术,通过对特定网站或网页中数据的结构进行分析,设定特定的抽取规则,可以将感兴趣的信息从中抽取出来,并保存到数据库或其他格式文件中,以供SQL或XML查询语言查询,或者供其他应用程序使用。论文从研究web数据抽取基础开始,建立了web数据抽取模型。首先采用Java语言设计了一个原型系统,使用基于HTML的方法进行了抽取,由于不涉及HTML文档的层次结构,该系统在抽取结果上不是很符合需求;然后通过分析HTML层次结构,利用基于XML的技术,使用XSLT文件映射的方法,可以产生针对特定网页格式良好的抽取结果,但该方法的通用性不是很好,对网页的结构的要求也比较严格;最后本文提出了一种针对特定内容的web数据抽取方法,将半自动产生的XSLT中间表示文件与DOM相结合实现对相似内容的XML文件进行映射抽取。该方法在一定程度上满足了通用性,并以针对特定内容(新闻网)为例进行了分析,实验结果表明该方法具有一定的可行性。

关键词： web数据抽取 HTML层次结构 XSLT DOM

来源：评论

学校读者我要写书评

暂无评论

面向开源社区的web数据抽取技术研究

面向开源社区的Web数据抽取技术研究

引用

作者：张方国防科学技术大学

学位级别：硕士

互联网技术的飞速发展加快了计算机软件产业变革的进程,开源运动在世界范围内如火如荼的进行着。从开发者,到业界相关组织乃至全球知名的IT巨头,纷纷加入到这场开源运动中来,成为开源软件的忠实拥趸。开源意味着软件开发过程从封闭走向... 详细信息

互联网技术的飞速发展加快了计算机软件产业变革的进程,开源运动在世界范围内如火如荼的进行着。从开发者,到业界相关组织乃至全球知名的IT巨头,纷纷加入到这场开源运动中来,成为开源软件的忠实拥趸。开源意味着软件开发过程从封闭走向开放,软件产品的所有权由独占变为共享。而开源软件的诞生和成长都是在开源社区中进行的,群体的智慧在开源社区中交融,知识的光辉在开源社区中闪耀。开源软件数量指数级的剧增推动了开源社区的迅猛发展。最终开源社区分化为了以群体化开发为导向的协同开发社区和以思维交流碰撞为导向的知识分享社区这两种形态。这两类开源社区包含了海量的开源数据资源,它们相互关联,紧密交织,共同构成了一个有机的开源生态系统。开源社区的异构性以及海量开源数据资源存在的分散性为面向开源社区的web数据抽取技术的研究带来了巨大的挑战。通过对开源社区数据的特点和信息抽取相关技术的深入分析研究,本文提出了一种基于数据分块的web数据抽取规则生成算法,自动生成基于Xpath和正则表达式的抽取规则模板,能够实现对web数据的有效抽取。构建了一个支持web页面预处理、数据抽取与持久化等的通用的web数据抽取框架。实现了一个面向开源社区的web数据抽取原型系统,并集成到OSSEAN开源软件检索与分析平台,最后对面向开源社区的web数据抽取系统的有效性进行了验证。面向开源社区的web数据抽取系统实现了对开源社区中的web数据的有效抽取,为基于开源社区深度数据挖掘的开源大数据服务平台“OSSEAN”的开发和运行提供了强有力的数据支撑。

关键词：开源社区 web数据抽取抽取规则规则生成

来源：评论

学校读者我要写书评

暂无评论

多类特征开采的web数据抽取研究

多类特征开采的Web数据抽取研究

引用

作者：王茜桂林电子科技大学

学位级别：硕士

海量、多类型的数据基于大量的HTML标签形成了各种结构和形态的web页面，其一方面提升了数据的展示效果和易读性，同时对这些数据的集成应用和深度开采设置了障碍。web数据抽取聚焦各类复杂web环境、致力于提取嵌入其中的各类数据，例... 详细信息

海量、多类型的数据基于大量的HTML标签形成了各种结构和形态的web页面，其一方面提升了数据的展示效果和易读性，同时对这些数据的集成应用和深度开采设置了障碍。web数据抽取聚焦各类复杂web环境、致力于提取嵌入其中的各类数据，例如结构化的商品记录信息、文本型的新闻或用户生成内容等。有效的 web 数据抽取方法，一方面优化了web数据的易管理性，是web数据管理基础设施的核心部件;更是为构建新型应用和商业模式提供了丰富数据基础，其研究具有重要应用价值。　　不同的web数据展示需求、大量的HTML标签及其灵活应用特征、web页面结构的嵌套特征等让web数据的存在环境日趋多样化和复杂，这让web数据抽取在准确度、自适应性等面临巨大挑战，主要体现在：（1）网页结构和布局复杂化，使得准确定位目标数据在网页中的区域愈加困难;（2）数据展示需求变化导致网页模板动态变化，使得原有的抽取方法失效;（3）更多的噪音数据（推荐信息等）嵌入网页，诱发了噪音数据和目标数据的有效区分问题。web数据抽取已在基于规则的抽取、基于网页结构的抽取、基于统计特征的抽取等方面提出了一些有效的方法，但在应对今天的复杂 web 环境和新抽取需求，在抽取准确率和不同站点的抽取自适应性方面还有很大的优化空间。本文即针对不同类型 web 数据的抽取需求展开详细分析，充分开采web页面结构特征和可视特征、数据语义特征等，分别提出了有效的web数据抽取方法，主要研究工作和贡献如下：　　1. 针对描述特征主题的web页面（例如新闻、博客等）的抽取需求和长文本数据抽取存在的抽取不完整性问题，提出了一种基于多特征集成的非结构化 web 数据抽取算法（VSSE），有效地提升了抽取准确率和召回率。首先，基于网页正文和噪音在文本长度和标点符号等视觉方面的差异，设计web内容视觉特征，并利用web页面的结构特征建模文档对象模型（DOM），进而遍历 DOM 树计算节点的视觉文本特征值，识别出有效文本节点;然后，设计标签路径聚合方法来定位抽取目标所在区域;最后，针对第（2）步定位区域中存在的噪音，引入文本内容语义相似度计算来区分噪音数据和目标内容，获得完整的正文内容。我们选取了10个主流新闻网站中近千个网页开展实验验证和分析，和现有方法的对比实验结果表明，该算法对不同网站中的非结构化 web 数据具有更好的抽取性能，该方法有效集成了多类型抽取特征，能有效适应网页模板的动态变化，对不同的网站具有很好的抽取适应性。　　2. 针对呈现产品等信息的web页面抽取需求和产品描述属性差异化问题，提出了一种基于隐马尔可夫模型的结构化 web 数据抽取算法（HMVE），保证了数据抽取的准确性和完整性。首先，基于web页面结构特征和特定HTML标签语义特征、应用树遍历操作对web页面进行预处理;然后，构建属性特征容器管理web页面属性区域的共性特征，并综合共性特征和tf-idf公式定义每个非叶子结点的特征权重值，以辅助抽取;最后，依据DOM树中结点之间的关系构建隐马尔可夫模型，基于每个非叶子结点的特征权重值并引入维特比算法求解定位属性区域的最大概率路径，即确定待抽取的商品属性内容所在的区域，进而将确定的商品属性区域中的各属性以＜属性名称，属性值＞偶对的形式抽取出来。我们选取了3个主流电子商务网站中8个种类的近千个商品网页开展实验测试与分析，实验结果表明建议的方法针对不同网站中的结构化web数据具有很好的抽取性能。

关键词： web数据抽取 DOM树多特征集成隐马尔可夫模型

来源：评论

学校读者我要写书评

暂无评论

基于XML的web数据抽取研究

基于XML的web数据抽取研究

引用

作者：余丽武汉理工大学

学位级别：硕士

随着Intemet的快速发展，web网页的数量也不断增加，尽管从网上可以查找到几乎所有知识领域的相关资料，但是对数据的操作和控制却不尽人意。为了更加有效地利用网络资源，从中获取有用的数据资料，研究人员开创了web数据抽取这一领域... 详细信息

随着Intemet的快速发展，web网页的数量也不断增加，尽管从网上可以查找到几乎所有知识领域的相关资料，但是对数据的操作和控制却不尽人意。为了更加有效地利用网络资源，从中获取有用的数据资料，研究人员开创了web数据抽取这一领域。利用数据抽取技术，对网页的结构和数据特征进行分析，可以抽取出网页中用户感兴趣的数据，以结构化的形式进行集成和保存，以供XML查询语言或者SQL语言查询，或者供其它的应用程序使用。Wrapper是从网页中抽取数据的程序，构造准确、健壮和通用的Wrapper可以使网页免受结构变化的影响，且减少人为参与，但是现有的各种Wrapper有着不同的局限性，在精度、健壮性和通用性方面难以达到很高的要求。本文利用标准的XML技术来解决数据抽取问题，提出一种基于XML技术的web数据抽取方法。\n 作者的主要工作如下：\n (1)XML技术的发展使得基于XML的web数据抽取方法成为web数据抽取的趋势，本文对三种web数据抽取方法进行了分析和比较。\n (2)在详细分析和比较数据抽取技术中三种常用的信息定位方法的基础上，应用XPath和XQuery技术在数据转换和定位方面的优势，提出了基于树的绝对路径和属性相结合的信息定位方法APTA(Absolute Path of Tree &Attribution)，综合了基于树的绝对路径的信息定位方法和基于属性的信息定位方法的优点，实现了对信息更加准确的定位。\n (3)利用HTML Tidy工具对待抽取页面进行清洗，将web数据抽取过程以及改进的定位方式放在XML语言编写的配置文件里定义，根据配置文档中自定义的元素和结构编程实现基于XML的web数据抽取。\n (4)根据Shared Inlining模型将XML数据型的抽取结果转换为关系表型数据，使得可以利用关系数据库已有的理论基础和应用平台最大限度地实现对web信息的再利用。\n (5)虽然本文的基于XML的web数据抽取方法的F值还未达到理想值，但与三种基本的信息定位方法的web数据抽取方法相比较，其F值是最优的。所以本文的基于XML的web数据抽取方法在功能上还是令人满意的，对基于XML的web数据抽取技术的研究与应用具有一定的参考价值。

关键词： web数据抽取 XML查询语言 web网页网络资源

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：