检索结果-内蒙古大学图书馆

您好，读者！请登录

内蒙古大学图书馆

首页
概况
党建
资源
服务
科研支持
- 论文收录引用证明
- 科技查新
知识产权
档案馆
帮助

咨询与建议

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

您的常用邮箱：*

您的手机号码：*

问题描述：

当前已输入0个字，您还可以输入200个字

全部搜索
期刊论文
图书
学位论文
标准
纸本馆藏
外文资源发现
数据库导航
超星发现

高级检索

时间限定

出版年份：

-

文献类型

图书期刊文献学位论文多媒体

馆藏选择

电子馆藏纸本馆藏

核心期刊

全部期刊 SCI 收录期刊 SSCI 收录期刊 EI 收录期刊 CSCD 收录期刊 CSSCI 收录期刊

语言

中文英文

文献类型

期刊文献图书学位论文标准纸本馆藏

帮助

文字说明：

T=题名（书名、题名），A=作者（责任者），K=主题词，P=出版物名称，PU=出版社名称，O=机构（作者单位、学位授予单位、专利申请人），L=中图分类号，C=学科分类号，U=全部字段，Y=年（出版发行年、学位年度、标准发布年）

检索规则说明：

AND代表“并且”；OR代表“或者”；NOT代表“不包含”；(注意必须大写,运算符两边需空一格)

检索范例：

范例一：(K=图书馆学 OR K=情报学) AND A=范并思 AND Y=1982-2016
范例二：P=计算机应用与软件 AND (U=C++ OR U=Basic) NOT K=Visual AND Y=2011-2016

分类表

所选分类

>> <<

限定检索结果

文献类型

2 篇 学位论文

馆藏范围

2 篇 电子文献
0 种 纸本馆藏

日期分布

学科分类号

1 篇 工学
- 1 篇 仪器科学与技术
1 篇 管理学
- 1 篇 管理科学与工程(可...

主题

2 篇 deep web数据源采...
2 篇 deep web数据获取
2 篇 查询接口判定
1 篇 deep web数据爬取
1 篇 deep web数据抽取
1 篇 质量评估

机构

2 篇 山东大学

作者

1 篇 杜鑫
1 篇 闫中敏

语言

2 篇 中文

检索条件"主题词=Deep Web数据源采样"

共 2 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

deep web数据源发现与采样研究

Deep Web数据源发现与采样研究

引用

作者：杜鑫山东大学

学位级别：硕士

随着技术的进步,知识的积累,越来越多的丰富资源不断地被加入到网络中,使得通过网络就可访问的数据量呈现巨大的增长。尤其是在近一二十年的时间内,随着各种商业应用的广泛推广,各种各样的大型数据库建立起来。银行、商店、学校、学术... 详细信息

随着技术的进步,知识的积累,越来越多的丰富资源不断地被加入到网络中,使得通过网络就可访问的数据量呈现巨大的增长。尤其是在近一二十年的时间内,随着各种商业应用的广泛推广,各种各样的大型数据库建立起来。银行、商店、学校、学术机构、政府、媒体、图书等等,通过互联网,人们能查到几乎所有领域的信息。由于信息的复杂多样,使得整个web看似杂乱无章,但如果按这些信息可被访问的途径,可以将其划分为Surface web(浅层网络)和deep web(深层网络)两个部分。一般来说,Surface web是指那些有固定的超链接地址,能被传统搜索引擎索引或者通过其他页面访问到的静态网页的集合。而deep web是指网络中不能被传统搜索引擎索引到的那部分内容,尤其是指那些实时产生的动态页面,如利用JavaS cript等脚本语言动态产生内容的页面。据研究,deep web中蕴藏着海量高质量数据,为了能够充分利用这些宝贵的数据资源,以对其进行深入的分析和挖掘,我们必须获取这些高质量的数据。对deep web的数据获取过程也是数据集成过程的第一步,其他两个步骤分别为数据抽取和数据整合。数据获取的主要任务就是限定某一特定领域,发现尽可能多的数据源,在对所获取的数据源进行科学评估后,选择优质的数据源,然后,最大限度地获取这些优质数据源中的数据。本文主要针对基于搜索引擎的deep web数据源发现与选择中的三个问题展开研究： 1.在发现deep web数据库查询接口页面时,如何构建高相关性的关键词集合并向搜索引擎提交有效的查询,使得含有web数据库的页面尽可能多地出现在查询结果中,并使其排名尽量靠前。 2.发现deep web查询接口页面后,通过观察可以发现,页面中一般有多个查询接口,传统的搜索引擎接口、元搜索接口和web数据库的查询接口都在同一个页面上。根据对汽车网站的观察,有的页面上甚至有七八个不同功能的查询接口。如何从众多接口中识别出我们需要的web数据库查询接口,进而抽取出查询接口,需要更加有效的方法。 3.由于deep web数据源数量多、内容广泛、数据量巨大,所以,如果在本地建立完整的可用数据库将是一项耗费巨大人力、物力、财力的工程,并且,deep web数据源数据更新速度快,建立本地数据库后需要不定期地进行更新操作。由于我们是通过查询接口来获取数据的,所以,更新操作并不能自定义时间段来获取我们想要的特定数据,因而,更新操作也会带来很多问题。鉴于此,我们提出在本地建立一个deep web数据源的样本库,定期从deep web数据源中获取一定量的样本来描述这个数据源的数据。在取样时,如何选取最具有代表性的关键字作为查询词来获取数量大、分布均匀的数据是一个亟待解决的问题。针对研究中发现的以上问题,本文对基于搜索引擎的deep web数据源的发现和选择的问题展开研究,提出了基于源代码的页面分块算法,提出了一种构建高相关性关键词集合的方法,并充分利用这些关键词来对数据进行采样,并对采样效果进行分析,计算出其偏差。主要工作和成果概括如下： 1.提出了一种构建高相关性关键词集合的方法,充分利用知识关联网络的概念,从本地数据库中提取出领域内的文献资料,在对信息进行处理后,得到一个基于图的关键词关联网络,其中,各个关键词具有相应的权重。 2.提出一种面向领域的deep web查询接口自动发现方法。通过对网页源代码、页面视觉信息进行综合利用,来确定一个页面中的deep web查询接口。使用页面块分割算法来将页面分成几个不重叠的区域,然后对代码进行分析,来发现其中的接口,再利用面向领域的关键字来向服务器提交查询,通过对返回结果进行分析来确定真正的deep web查询接口。 3.提出一种基于关键词的查询接口的deep web数据源采样方法,使采样过程不再仅限于查询接口中的范围属性,而是引入了更加灵活的关键词属性,解放了查询接口对属性表达形式的限制,有效地从deep web数据源中获得近似随机的高质量数据样本。

关键词： deep web数据获取查询接口判定 deep web数据源采样 deep web数据抽取

来源：评论

学校读者我要写书评

暂无评论

deep web数据获取问题研究

Deep Web数据获取问题研究

引用

作者：闫中敏山东大学

学位级别：博士

随着互联网技术的发展,web成为一个拥有海量数据的信息源。deepweb主要由web中可在线访问的数据库构成,信息更丰富、主题性更强、结构化更好。随着分析型应用如市场情报分析、舆情分析、电子商务等需求的增长,亟需对deep web数据进行集... 详细信息

随着互联网技术的发展,web成为一个拥有海量数据的信息源。deepweb主要由web中可在线访问的数据库构成,信息更丰富、主题性更强、结构化更好。随着分析型应用如市场情报分析、舆情分析、电子商务等需求的增长,亟需对deep web数据进行集成,从中分析挖掘有用知识。但由于deepweb具有大规模性、数据海量性、实时动态变化、异构性以及分布性等特点,并且deep web数据只能通过向web数据库的查询接口提交查询这一特殊方式获取,使得如何自动地从deep web数据源获取数据成为一项十分具有挑战性的工作。作为集成工作的第一步,deep web数据获取为deep web数据集成奠定数据基础,是数据抽取和数据整合工作的前提。目前,deep web数据获取工作主要存在以下问题有待解决：(1)deep web网站的增长速度快、时刻动态变化,而分析挖掘需要全面的数据,因此面向分析的deep web数据获取需要自动发现尽可能多的deep web数据源。(2)deep web数据源质量良莠不齐、爬取过程繁杂并且爬取周期长,为了合理分配资源需要择优汰劣,分析挖掘需求要求对已发现的数据源进行评估,选择优质数据源以获得更多更全面的信息。(3)deep web数据源中的数据众多,数据爬取过程中提交不同的查询词返回的结果集合存在大量的数据重叠,为了全面高效获取deep web数据源中的数据,需要对提交的查询词进行选择。本文以面向分析的deep web数据获取为目标,对deep web查询接口判定、deep web数据源采样、评估以及deep web数据爬取等多个具有挑战性的实际问题进行了系统和深入地研究,主要工作与贡献概括如下： 1.提出了一种基于集成学习的deep web查询接口判定方法,有效解决了大量web页面中deep web查询接口识别问题,能够准确地将deep web查询接口与搜索引擎的查询接口区别开来,提高了deep web查询接口识别的准确率。本文提出了一种使用决策树以及SVM进行集成学习的方法建立deepweb查询接口判定模型,达到更有效地识别deep web查询接口的目的。一方面针对deep web查询接口页面进行分析,提出了判断页面中是否含有查询接口的6条规则,利用简单高效的决策树对页面进行分类；另一方面针对deep web查询接口与搜索引擎的查询接口提交查询后获得的结果页面进行分析,主要利用结果页面的特征训练SVM对页面进行分类,采用重抽样思想得到训练数据集,有效减弱类别不平衡性对学习算法的影响；最后基于投票的方式对决策树和多个SVM进行集成。该方法可以将web数据库的查询接口与搜索引擎的查询接口有效地区别开来,达到更准确地识别deep web查询接口的目的。实验表明该方法具有良好的可行性和运行效率,与使用简单机器学习的识别算法相比可以获得更高的查全率和查准率。 2.在随机漫步算法的基础上,提出了一种基于关键词选择模型的deepweb数据源采样方法,有效地从deep web数据源中获得近似随机的高质量样本,以供deep web数据源评估使用。本文提出了一种针对关键词属性扩展随机漫步算法的deep web数据源采样方法,使采样过程不受查询接口中属性表达形式的限制。采样过程中,对于关键词属性构建选择模型,从目前的样本集中按照出现频率降序选择该属性的一个值,将其递交给查询接口；对于分类属性和范围属性采用随机漫步算法策略。该方法有效地从deep web数据源中获得近似随机的高质量样本,通过样本可以了解该数据源的领域相关性、准确性、完整性、数据规模等有用的特征,以供deep web数据源评估和选择使用。 3.提出了一种基于多目标决策理论的deep web数据源质量量化评估方法,有效解决了同一领域大规模deep web数据源质量评估问题。本文提出基于多目标决策理论的deep web数据源质量量化评估方法,通过建立deep web数据源质量评估模型,对每一个deep web数据源进行量化评分,将评估问题映射到多目标决策领域进行求解,对deep web数据源排序,以选择优质数据源。针对分析型应用对deep web数据集成的需求,提出了deep web数据源质量评估体系,利用已获得的数据样本,从web数据源质量、查询接口及结果返回质量、数据质量以及用户评价等4个维度对16个质量评估因素进行量化评分,将评分结果映射为多目标决策问题求解,对各质量评估因素计算权重,最终获得每一个deep web数据源的总评估值进而对deep web数据源排序,选择优质数据源,尽可能减少需要爬取的deepweb数据源的数量。 4.提出一种基于属性高频字覆盖率图模型的deep web数据爬取方

关键词： deep web数据获取查询接口判定 deep web数据源采样质量评估 deep web数据爬取

来源：评论

学校读者我要写书评

暂无评论

没有更多数据了...

共1页 << < 1 > >>

检索报告对象比较合并检索0

隐藏清空

合并搜索

回到顶部

执行限定条件

内容：

评分：

请选择保存的检索档案：

请选择收藏分类：

订阅名称：

通借通还

温馨提示：

图书名称：

借书校区：

取书校区：

手机号码：

邮箱地址：

一卡通帐号：

电话和邮箱必须正确填写，我们会与您联系确认。

联系人：

所在院系：

联系邮箱：

联系电话：

内蒙古自治区呼和浩特市赛罕区大学西街235号邮编: 010021

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：