检索结果-内蒙古大学图书馆

您好，读者！请登录

内蒙古大学图书馆

首页
概况
党建
资源
服务
科研支持
- 论文收录引用证明
- 科技查新
知识产权
档案馆
帮助

咨询与建议

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

您的常用邮箱：*

您的手机号码：*

问题描述：

当前已输入0个字，您还可以输入200个字

全部搜索
期刊论文
图书
学位论文
标准
纸本馆藏
外文资源发现
数据库导航
超星发现

高级检索

时间限定

出版年份：

文献类型

图书期刊文献学位论文多媒体

馆藏选择

电子馆藏纸本馆藏

核心期刊

全部期刊 SCI 收录期刊 SSCI 收录期刊 EI 收录期刊 CSCD 收录期刊 CSSCI 收录期刊

语言

中文英文

文献类型

期刊文献图书学位论文标准纸本馆藏

帮助

文字说明：

T=题名（书名、题名），A=作者（责任者），K=主题词，P=出版物名称，PU=出版社名称，O=机构（作者单位、学位授予单位、专利申请人），L=中图分类号，C=学科分类号，U=全部字段，Y=年（出版发行年、学位年度、标准发布年）

检索规则说明：

AND代表“并且”；OR代表“或者”；NOT代表“不包含”；(注意必须大写,运算符两边需空一格)

检索范例：

范例一：(K=图书馆学 OR K=情报学) AND A=范并思 AND Y=1982-2016
范例二：P=计算机应用与软件 AND (U=C++ OR U=Basic) NOT K=Visual AND Y=2011-2016

分类表

所选分类

>> <<

限定检索结果

文献类型

3 篇 学位论文

馆藏范围

3 篇 电子文献
0 种 纸本馆藏

日期分布

学科分类号

2 篇 管理学
- 2 篇 管理科学与工程(可...
1 篇 工学
- 1 篇 仪器科学与技术

主题

3 篇 deep web数据抽取
1 篇 deep web数据源采...
1 篇 树匹配
1 篇 列表页面
1 篇 包装器
1 篇 deep web数据获取
1 篇 自举法
1 篇 查询接口判定
1 篇 最小代价脚本编辑...
1 篇 deep web数据集成
1 篇 视觉块树

机构

3 篇 山东大学

作者

1 篇 凡思武
1 篇 杜鑫
1 篇 刘冬兰

语言

3 篇 中文

检索条件"主题词=Deep Web数据抽取"

共 3 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

deep web数据抽取中自适应包装器问题研究

Deep Web数据抽取中自适应包装器问题研究

引用

作者：刘冬兰山东大学

学位级别：硕士

随着互联网技术的飞速发展,deep web网站上拥有着海量的数据,并且在快速地增长,使web成为一个巨大的数据源,这些信息要通过查询接口在线访问其后端的web数据库。尽管deep web中蕴藏了大量丰富的有价值信息,但是deep web数据具有动态变... 详细信息

随着互联网技术的飞速发展,deep web网站上拥有着海量的数据,并且在快速地增长,使web成为一个巨大的数据源,这些信息要通过查询接口在线访问其后端的web数据库。尽管deep web中蕴藏了大量丰富的有价值信息,但是deep web数据具有动态变化性和异构性等特点,对这些信息进行有效利用是非常有挑战性的工作。deep web数据集成至今仍然是一个研究热点,deep web数据集成可以对web数据进行有效整合,为电子商务、市场情报分析、舆情分析等应用提供支持。deep web数据抽取是deep web数据集成中的核心问题,对deep web页面中广泛存在的非结构化和半结构化的数据进行有效地抽取,是实现deep web数据集成的基础,为数据融合和数据分析等提供服务。由于deep web页面都是基于脚本生成的网页,许多的文档共享公共的Html树结构,通常使用包装器来有效地抽取web数据。由于deep web数据的异构性和动态性,deep web网页结构经常发生变化,导致包装器出现中断,从而需要重新学习包装器。deep web数据抽取中自适应包装器问题研究中,还存在以下问题有待解决：(1)研究如何提高抽取包装器的健壮性,即当web网页发生变化时,包装器在新网页中继续保持抽取数据的能力。(2)研究抽取规则是否具有通用性,即针对某一数据源构造的抽取规则能否做自适应调整以便应用于另一数据源,实现领域自适应的抽取。本文针对网站上大量的deep web网页,以deep web数据集成为目标,针对以上两个待解决的关键问题展开研究,探索了构建健壮的包装器用于deep web数据抽取的问题,主要工作与研究成果概括如下： (1)针对包装器健壮性问题,提出了一种基于最小代价脚本编辑模型的健壮的deep web数据抽取方法。通过监控网页随着时间变化的过程中,统计插入、删除、替换三种编辑操作对每个Html标签的变化频率,根据编辑操作变化的频率计算相应的编辑代价,并在此基础上建立抽取模型用于健壮的deep web数据抽取。根据网页的变化,调整抽取规则,使得构造的抽取规则能更好的适应网站的变化。实验结果表明,该方法构造的包装器具有较高的抽取准确率,有效解决了deep web数据抽取中自适应抽取的问题,提高了deep web数据抽取的健壮性和灵活性。 (2)根据自底向上(Bottom-up)的逻辑归纳设计思想,提出了一种最小的候选包装器的生成方法。该方法使得构造的包装器的查准率(Precision)和查全率(Recall)都接近于1,提高了包装器的抽取准确率。实验结果表明,该方法构造的包装器具有较小的破损率,抽取准确率较高。 (3)针对包装器通用性问题,提出了一种自举法(Bootstrapping)的方式学习包装器,实现领域自适应的抽取。对51job招聘站点上训练得到的抽取模型,用于同领域内其他招聘网站如智联招聘、应届生求职等网站,随机采样一些网页用此抽取模型进行学习,从采样页面中抽取特征后,将抽取模型用于新的网站来识别属性值；由此得到的抽取规则进一步代替之前有标签的样本页面,通过自举式学习抽取模型,使得构造的包装器具有较高的通用性。实验结果表明,本文提出的方法有效地提高了目标网站的抽取准确度,有效解决了从大规模的deep web数据中进行抽取的高效性问题。

关键词： deep web数据集成 deep web数据抽取包装器最小代价脚本编辑模型自举法

来源：评论

学校读者我要写书评

暂无评论

基于视觉信息和树匹配的deep web数据抽取问题的研究

基于视觉信息和树匹配的Deep Web数据抽取问题的研究

引用

作者：凡思武山东大学

学位级别：硕士

随着网络技术的快速发展和普及,web已经成为一个巨大的信息源集合,拥有着海量信息。deep web是由web中可在线访问的数据库构成,具有信息量大、结构化程度高、领域覆盖全面等特点,deep web对以分析挖掘为目标的应用系统有着十分重大的应... 详细信息

随着网络技术的快速发展和普及,web已经成为一个巨大的信息源集合,拥有着海量信息。deep web是由web中可在线访问的数据库构成,具有信息量大、结构化程度高、领域覆盖全面等特点,deep web对以分析挖掘为目标的应用系统有着十分重大的应用价值。随着电子商务、市场情报等应用需求的增长,如何从deep web中获取用户感兴趣的信息或数据,以便进行深度的分析从而提供更具价值的服务和应用,比如比价系统、元搜索等,已成为目前研究的热点课题。为了有效利用deep web, deep web数据集成应运而生,包括数据获取、数据抽取和数据整合等环节,其中deep web数据抽取是其关键环节。由于deep web的海量、异构等特点使得deep web数据抽取成为一项极具挑战的工作,其主要困难有：(1) deep web涉及领域广,数据量大,要实现deep web数据的自动抽取。(2)不同deep web页面差距较大,抽取方法要有一定的适应性,确保其抽取的正确率和效率。本文针对deep web中包含半结构化数据的列表页面,利用页面的视觉信息和树匹配技术,实现了此类web页面中数据的全自动抽取,其主要贡献和创新有以下两点：(1)列表页面中数据记录的识别和抽取web页面的设计是为了方便用户浏览,有着丰富的视觉信息,比如字体、布局、背景等。为了方便利用页面的视觉信息,我们给出了页面的表示模型——视觉块树,相较于VIPS等页面分块技术,这里没有使用任何假设和启发式规则,更能客观的反应页面信息。为了抽取数据记录,我们首先识别出数据区域,这里结合列表页面的视觉特征,给出了数据区域识别算法,相较于传统方法,此算法有较强的适应性。对于数据区域下数据记录的识别,本文采用一种序列划分的策略,其基本思想是先对数据区域树下子树聚类,根据聚类的结果信息对子树序列进行划分,过滤掉噪声节点从而确定每条数据记录的边界,最终实现数据区域下数据记录的抽取工作。(2)基于树匹配技术实现数据项对齐数据项对齐是指将由同一模板生成的数据记录中相同语义项放在关系表的同一列下,即为数据记录生成关系模式。本文将每条数据记录看为一棵树,从而把数据记录模式生成看为多序列对齐问题。首先给出了树匹配的一种严格模式；然后采用简单树匹配(Simple Tree Matching,简称STM)算法得到两棵树的一个最大匹配,由于采用了视觉块树这种数据结构,能对STM进行一些剪枝操作,可使算法复杂度由0(n2)几乎降为线性；最后基于STM给出了模式生成算法。

关键词：列表页面视觉块树 deep web数据抽取树匹配

来源：评论

学校读者我要写书评

暂无评论

deep web数据源发现与采样研究

Deep Web数据源发现与采样研究

引用

作者：杜鑫山东大学

学位级别：硕士

随着技术的进步,知识的积累,越来越多的丰富资源不断地被加入到网络中,使得通过网络就可访问的数据量呈现巨大的增长。尤其是在近一二十年的时间内,随着各种商业应用的广泛推广,各种各样的大型数据库建立起来。银行、商店、学校、学术... 详细信息

随着技术的进步,知识的积累,越来越多的丰富资源不断地被加入到网络中,使得通过网络就可访问的数据量呈现巨大的增长。尤其是在近一二十年的时间内,随着各种商业应用的广泛推广,各种各样的大型数据库建立起来。银行、商店、学校、学术机构、政府、媒体、图书等等,通过互联网,人们能查到几乎所有领域的信息。由于信息的复杂多样,使得整个web看似杂乱无章,但如果按这些信息可被访问的途径,可以将其划分为Surface web(浅层网络)和deep web(深层网络)两个部分。一般来说,Surface web是指那些有固定的超链接地址,能被传统搜索引擎索引或者通过其他页面访问到的静态网页的集合。而deep web是指网络中不能被传统搜索引擎索引到的那部分内容,尤其是指那些实时产生的动态页面,如利用JavaS cript等脚本语言动态产生内容的页面。据研究,deep web中蕴藏着海量高质量数据,为了能够充分利用这些宝贵的数据资源,以对其进行深入的分析和挖掘,我们必须获取这些高质量的数据。对deep web的数据获取过程也是数据集成过程的第一步,其他两个步骤分别为数据抽取和数据整合。数据获取的主要任务就是限定某一特定领域,发现尽可能多的数据源,在对所获取的数据源进行科学评估后,选择优质的数据源,然后,最大限度地获取这些优质数据源中的数据。本文主要针对基于搜索引擎的deep web数据源发现与选择中的三个问题展开研究： 1.在发现deep web数据库查询接口页面时,如何构建高相关性的关键词集合并向搜索引擎提交有效的查询,使得含有web数据库的页面尽可能多地出现在查询结果中,并使其排名尽量靠前。 2.发现deep web查询接口页面后,通过观察可以发现,页面中一般有多个查询接口,传统的搜索引擎接口、元搜索接口和web数据库的查询接口都在同一个页面上。根据对汽车网站的观察,有的页面上甚至有七八个不同功能的查询接口。如何从众多接口中识别出我们需要的web数据库查询接口,进而抽取出查询接口,需要更加有效的方法。 3.由于deep web数据源数量多、内容广泛、数据量巨大,所以,如果在本地建立完整的可用数据库将是一项耗费巨大人力、物力、财力的工程,并且,deep web数据源数据更新速度快,建立本地数据库后需要不定期地进行更新操作。由于我们是通过查询接口来获取数据的,所以,更新操作并不能自定义时间段来获取我们想要的特定数据,因而,更新操作也会带来很多问题。鉴于此,我们提出在本地建立一个deep web数据源的样本库,定期从deep web数据源中获取一定量的样本来描述这个数据源的数据。在取样时,如何选取最具有代表性的关键字作为查询词来获取数量大、分布均匀的数据是一个亟待解决的问题。针对研究中发现的以上问题,本文对基于搜索引擎的deep web数据源的发现和选择的问题展开研究,提出了基于源代码的页面分块算法,提出了一种构建高相关性关键词集合的方法,并充分利用这些关键词来对数据进行采样,并对采样效果进行分析,计算出其偏差。主要工作和成果概括如下： 1.提出了一种构建高相关性关键词集合的方法,充分利用知识关联网络的概念,从本地数据库中提取出领域内的文献资料,在对信息进行处理后,得到一个基于图的关键词关联网络,其中,各个关键词具有相应的权重。 2.提出一种面向领域的deep web查询接口自动发现方法。通过对网页源代码、页面视觉信息进行综合利用,来确定一个页面中的deep web查询接口。使用页面块分割算法来将页面分成几个不重叠的区域,然后对代码进行分析,来发现其中的接口,再利用面向领域的关键字来向服务器提交查询,通过对返回结果进行分析来确定真正的deep web查询接口。 3.提出一种基于关键词的查询接口的deep web数据源采样方法,使采样过程不再仅限于查询接口中的范围属性,而是引入了更加灵活的关键词属性,解放了查询接口对属性表达形式的限制,有效地从deep web数据源中获得近似随机的高质量数据样本。

关键词： deep web数据获取查询接口判定 deep web数据源采样 deep web数据抽取

来源：评论

学校读者我要写书评

暂无评论

没有更多数据了...

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

检索报告对象比较合并检索0

隐藏清空

合并搜索

回到顶部

执行限定条件

内容：

评分：

请选择保存的检索档案：

请选择收藏分类：

订阅名称：

通借通还

温馨提示：

图书名称：

借书校区：

取书校区：

手机号码：

邮箱地址：

一卡通帐号：

电话和邮箱必须正确填写，我们会与您联系确认。

联系人：

所在院系：

联系邮箱：

联系电话：

内蒙古自治区呼和浩特市赛罕区大学西街235号邮编: 010021

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：