检索结果-内蒙古大学图书馆

您好，读者！请登录

内蒙古大学图书馆

首页
概况
党建
资源
服务
科研支持
- 论文收录引用证明
- 科技查新
知识产权
档案馆
帮助

咨询与建议

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

您的常用邮箱：*

您的手机号码：*

问题描述：

当前已输入0个字，您还可以输入200个字

全部搜索
期刊论文
图书
学位论文
标准
纸本馆藏
外文资源发现
数据库导航
超星发现

高级检索

时间限定

出版年份：

-

文献类型

图书期刊文献学位论文多媒体

馆藏选择

电子馆藏纸本馆藏

核心期刊

全部期刊 SCI 收录期刊 SSCI 收录期刊 EI 收录期刊 CSCD 收录期刊 CSSCI 收录期刊

语言

中文英文

文献类型

期刊文献图书学位论文标准纸本馆藏

帮助

文字说明：

T=题名（书名、题名），A=作者（责任者），K=主题词，P=出版物名称，PU=出版社名称，O=机构（作者单位、学位授予单位、专利申请人），L=中图分类号，C=学科分类号，U=全部字段，Y=年（出版发行年、学位年度、标准发布年）

检索规则说明：

AND代表“并且”；OR代表“或者”；NOT代表“不包含”；(注意必须大写,运算符两边需空一格)

检索范例：

范例一：(K=图书馆学 OR K=情报学) AND A=范并思 AND Y=1982-2016
范例二：P=计算机应用与软件 AND (U=C++ OR U=Basic) NOT K=Visual AND Y=2011-2016

分类表

所选分类

>> <<

限定检索结果

文献类型

1 篇 学位论文

馆藏范围

1 篇 电子文献
0 种 纸本馆藏

日期分布

学科分类号

1 篇 工学
- 1 篇 仪器科学与技术

主题

1 篇 deep web数据源采...
1 篇 deep web数据爬取
1 篇 deep web数据获取
1 篇 质量评估
1 篇 查询接口判定

机构

1 篇 山东大学

作者

1 篇 闫中敏

语言

1 篇 中文

检索条件"主题词=Deep Web数据爬取"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

deep web数据获取问题研究

Deep Web数据获取问题研究

引用

作者：闫中敏山东大学

学位级别：博士

随着互联网技术的发展,web成为一个拥有海量数据的信息源。deepweb主要由web中可在线访问的数据库构成,信息更丰富、主题性更强、结构化更好。随着分析型应用如市场情报分析、舆情分析、电子商务等需求的增长,亟需对deep web数据进行集... 详细信息

随着互联网技术的发展,web成为一个拥有海量数据的信息源。deepweb主要由web中可在线访问的数据库构成,信息更丰富、主题性更强、结构化更好。随着分析型应用如市场情报分析、舆情分析、电子商务等需求的增长,亟需对deep web数据进行集成,从中分析挖掘有用知识。但由于deepweb具有大规模性、数据海量性、实时动态变化、异构性以及分布性等特点,并且deep web数据只能通过向web数据库的查询接口提交查询这一特殊方式获取,使得如何自动地从deep web数据源获取数据成为一项十分具有挑战性的工作。作为集成工作的第一步,deep web数据获取为deep web数据集成奠定数据基础,是数据抽取和数据整合工作的前提。目前,deep web数据获取工作主要存在以下问题有待解决：(1)deep web网站的增长速度快、时刻动态变化,而分析挖掘需要全面的数据,因此面向分析的deep web数据获取需要自动发现尽可能多的deep web数据源。(2)deep web数据源质量良莠不齐、爬取过程繁杂并且爬取周期长,为了合理分配资源需要择优汰劣,分析挖掘需求要求对已发现的数据源进行评估,选择优质数据源以获得更多更全面的信息。(3)deep web数据源中的数据众多,数据爬取过程中提交不同的查询词返回的结果集合存在大量的数据重叠,为了全面高效获取deep web数据源中的数据,需要对提交的查询词进行选择。本文以面向分析的deep web数据获取为目标,对deep web查询接口判定、deep web数据源采样、评估以及deep web数据爬取等多个具有挑战性的实际问题进行了系统和深入地研究,主要工作与贡献概括如下： 1.提出了一种基于集成学习的deep web查询接口判定方法,有效解决了大量web页面中deep web查询接口识别问题,能够准确地将deep web查询接口与搜索引擎的查询接口区别开来,提高了deep web查询接口识别的准确率。本文提出了一种使用决策树以及SVM进行集成学习的方法建立deepweb查询接口判定模型,达到更有效地识别deep web查询接口的目的。一方面针对deep web查询接口页面进行分析,提出了判断页面中是否含有查询接口的6条规则,利用简单高效的决策树对页面进行分类；另一方面针对deep web查询接口与搜索引擎的查询接口提交查询后获得的结果页面进行分析,主要利用结果页面的特征训练SVM对页面进行分类,采用重抽样思想得到训练数据集,有效减弱类别不平衡性对学习算法的影响；最后基于投票的方式对决策树和多个SVM进行集成。该方法可以将web数据库的查询接口与搜索引擎的查询接口有效地区别开来,达到更准确地识别deep web查询接口的目的。实验表明该方法具有良好的可行性和运行效率,与使用简单机器学习的识别算法相比可以获得更高的查全率和查准率。 2.在随机漫步算法的基础上,提出了一种基于关键词选择模型的deepweb数据源采样方法,有效地从deep web数据源中获得近似随机的高质量样本,以供deep web数据源评估使用。本文提出了一种针对关键词属性扩展随机漫步算法的deep web数据源采样方法,使采样过程不受查询接口中属性表达形式的限制。采样过程中,对于关键词属性构建选择模型,从目前的样本集中按照出现频率降序选择该属性的一个值,将其递交给查询接口；对于分类属性和范围属性采用随机漫步算法策略。该方法有效地从deep web数据源中获得近似随机的高质量样本,通过样本可以了解该数据源的领域相关性、准确性、完整性、数据规模等有用的特征,以供deep web数据源评估和选择使用。 3.提出了一种基于多目标决策理论的deep web数据源质量量化评估方法,有效解决了同一领域大规模deep web数据源质量评估问题。本文提出基于多目标决策理论的deep web数据源质量量化评估方法,通过建立deep web数据源质量评估模型,对每一个deep web数据源进行量化评分,将评估问题映射到多目标决策领域进行求解,对deep web数据源排序,以选择优质数据源。针对分析型应用对deep web数据集成的需求,提出了deep web数据源质量评估体系,利用已获得的数据样本,从web数据源质量、查询接口及结果返回质量、数据质量以及用户评价等4个维度对16个质量评估因素进行量化评分,将评分结果映射为多目标决策问题求解,对各质量评估因素计算权重,最终获得每一个deep web数据源的总评估值进而对deep web数据源排序,选择优质数据源,尽可能减少需要爬取的deepweb数据源的数量。 4.提出一种基于属性高频字覆盖率图模型的deep web数据爬取方

关键词： deep web数据获取查询接口判定 deep web数据源采样质量评估 deep web数据爬取

来源：评论

学校读者我要写书评

暂无评论

没有更多数据了...

共1页 << < 1 > >>

检索报告对象比较合并检索0

隐藏清空

合并搜索

回到顶部

执行限定条件

内容：

评分：

请选择保存的检索档案：

请选择收藏分类：

订阅名称：

通借通还

温馨提示：

图书名称：

借书校区：

取书校区：

手机号码：

邮箱地址：

一卡通帐号：

电话和邮箱必须正确填写，我们会与您联系确认。

联系人：

所在院系：

联系邮箱：

联系电话：

内蒙古自治区呼和浩特市赛罕区大学西街235号邮编: 010021

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：