检索结果-内蒙古大学图书馆

作者：王磊北京大学

学位级别：硕士

Web的永久保存具有重要意义，国际范围内许多组织和政府机构相继建立了大型的历史网页存档系统来永久保存网页，如Internet Archive和Web InfoMal。而如何对蕴含在海量网页存档系统中的信息进行有效的挖掘和利用是一个尚待解决的问题。... 详细信息

Web的永久保存具有重要意义，国际范围内许多组织和政府机构相继建立了大型的历史网页存档系统来永久保存网页，如Internet Archive和Web InfoMal。而如何对蕴含在海量网页存档系统中的信息进行有效的挖掘和利用是一个尚待解决的问题。对网页按照其主题进行聚类是解决此问题的一项基础性工作，对于主题的自动发现机制、信息提取、主题检索及建模等具有重要意义；同时主题发现与追踪(TDT)也是较长时间以来的研究热点之一。大规模网页的主题聚类在效率和精度等方面面临诸多挑战。本文在此问题上贡献如下：\n 1.参与设计和实现了一种基于文档最长公共子序列(LCS)的大规模相似文档检测算法(LCS算法)。该算法用于在主题聚类之前对网页进行消重，并在构建文章链接图(本文主题聚类算法赖以实施的基础)的过程中起关键的作用。算法利用文档间的LCS作为文档相似性的衡量标准，以提高检测精度和召回率；利用分治策略设计算法框架以解决LCS用于相似文档检测的效率问题。在本文的对比实验中，LCS算法在精度和召回率上优于Simhash算法和cosine算法：LCS算法的全局精度是0.95，Simhash和cosine分别是0.71和0.82；同时，LCS算法的召回率是Simhash的1.86倍，是Cosine的1.56倍。\n 2.设计并实现了一种大规模网页主题聚类算法(LCA算法)。通过分治策略提供了一种对大规模网页聚类效率瓶颈的解决方案，并利用主题相关性的局部性来进一步提高效率；通过链接分析和内容分析两阶段的处理充分挖掘网页间的主题相关性来保证算法精度。在链接分析阶段利用时间距离、链接强度和出链数量挖掘主题关联性，在内容分析阶段利用基于topics向量空间的Cosin距离挖掘主题关联性。在本文的对比实验中，LCA算法在精度和召回率上优于层次聚类算法和K-Means算法：LCA算法在F-值为0.94时精度和相对召回率分别是0.92和1；层次聚类算法的最优F-值为0.86，精度和相对召回率分别是0.87和0.91；K-Means算法的最优F值为0.71，精度和相对召回率分别是0.83和0.77；在效率方面，LCA算法对从Web InfoMall中提取的5500万文章的主题聚类可在439小时内完成，而另两种算法通常需要数年完成此过程。\n 3.基于上述的LCA算法开发了主题聚类系统。在Web InfoMall的数据集合上部署该系统，将其中的4.3亿主题型网页进行消重得到约5500万文章，然后将这些文章进行主题聚类获得约46万个主题，覆盖中的约3300万文章。作为对主题聚类结果的应用示例，在历史网页搜索引擎Histrace的基础上开发了针对主题的检索系统，提供对搜索结果的按主题排序和展示。

关键词：主题聚类大规模数据处理链接分析 Topic Model 相似文档检测

来源：评论

学校读者我要写书评

暂无评论

基于改进的Simhash算法的相似文档识别技术

引用

计算机科学与应用 2020年第2期10卷 371-378页

作者：张兴兰何丹丹北京工业大学北京

[目的/意义]:为了实现在海量文本中更加高效准确检测出相似文本。[方法]:本文对基于Simhash算法的相似文档识别技术进行研究改进,对Simhash签名值的计算方法作出改进,分词阶段使用ICTCLAS分词系统,文本特征词的权重计算方法采用TF-IDF技... 详细信息

[目的/意义]:为了实现在海量文本中更加高效准确检测出相似文本。[方法]:本文对基于Simhash算法的相似文档识别技术进行研究改进,对Simhash签名值的计算方法作出改进,分词阶段使用ICTCLAS分词系统,文本特征词的权重计算方法采用TF-IDF技术,同时将特征词的词性、词长、是否为标志词与是否被包含在标题中几大方面作为权重计算的考虑因素。最后使用汉明距离对文档签名值进行比较,从海量文档中精确地找出相似文档。[结论]:通过改进TF-IDF权重,使得改进的Simhash算法在相似文档识别准确率上优于其他算法。

关键词：相似文档检测 Simhash算法 TF-IDF算法指纹计算汉明距离

来源：评论

学校读者我要写书评

暂无评论

多维搜索引擎的构建与应用

引用

软件导刊 2009年第6期8卷 25-27页

作者：田甜河南师范大学计算机与信息技术学院河南新乡453007

现阶段主流搜索引擎技术可以概括为基于空间的搜索。在未来的发展过程中,信息的表示方式更加丰富,搜索用户对信息检索的需求逐步提高,由此提出多维搜索的概念。多维搜索引擎不受物理条件的限制,对不同类型的数据进行灵活操纵、抽取和组... 详细信息

现阶段主流搜索引擎技术可以概括为基于空间的搜索。在未来的发展过程中,信息的表示方式更加丰富,搜索用户对信息检索的需求逐步提高,由此提出多维搜索的概念。多维搜索引擎不受物理条件的限制,对不同类型的数据进行灵活操纵、抽取和组合。同时对此种搜索引擎的应用前景进行展望,此种搜索技术具有不可估量的发展前景,也势必为搜索领域带来一场大的变革。

关键词：空间维度多维搜索中国Web信息博物馆相似文档检测

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：