检索结果-内蒙古大学图书馆

作者：陈豪南昌大学

学位级别：硕士

随着近几年经济飞速发展和人民生活水平的提高,健康问题也越来越受人们重视。而在使用当前传统搜索引擎搜索健康领域信息时,搜索结果中往往存在大量的广告信息,并且专业性、权威性较差。针对该问题,本课题基于改进的shark-search算法实... 详细信息

随着近几年经济飞速发展和人民生活水平的提高,健康问题也越来越受人们重视。而在使用当前传统搜索引擎搜索健康领域信息时,搜索结果中往往存在大量的广告信息,并且专业性、权威性较差。针对该问题,本课题基于改进的shark-search算法实现了一个健康领域的垂直搜索引擎,课题主要工作如下:（1）对shark-search算法的不足进行改进。针对shark-search算法使用链接上下文计算导致噪音链接对主题链接判定产生负面影响的不足,将链接上下文改为使用网页标题来计算,其他计算因素不变;针对shark-search算法的“近视问题”,提出将shark-search算法与OPIC算法相结合。通过实验表明shark-search改进算法较shark-search算法、OPIC算法、shark-PageRank算法在查准率上分别提高了7.8%、14.1%、0.9%,在查全率（目标召回率）上分别提高了 11.8%、17.7%、2.9%。（2）基于改进的shark-search算法实现健康领域的爬虫,并基于爬取的数据开发了一个健康领域的垂直搜索引擎。将本垂直搜索引擎与百度和必应搜索对比测试,结果表明本垂直搜索引擎在搜索健康关键词时在结果的前100个网页中主题相关性表现更好。本文的创新点在于:1、在shark-search算法中考虑使用网页标题来替代链接上下文来做主题相关度计算,避免噪音链接对主题链接判定产生影响。2、提出将shark-search算法与OPIC算法相结合,这不仅改善了shark-search算法的“近视问题”,在一定程度上消除了 OPIC算法的“主题漂移”问题。

关键词：健康领域垂直搜索引擎 shark-search算法 OPIC算法主题相关度

来源：评论

学校读者我要写书评

暂无评论

基于改进shark-search算法的主题爬虫研究

基于改进Shark-Search算法的主题爬虫研究

引用

作者：许磊南京大学

学位级别：硕士

互联网中信息过载对人们从网络中获取感兴趣的内容形成了巨大挑战,传统搜索引擎在一定程度上能满足人们对网络内容的检索需求,但也存在信息驳杂、检索结果不相关等问题。为此人们研发了垂直搜索引擎,满足了用户对特定领域更为精细的检... 详细信息

互联网中信息过载对人们从网络中获取感兴趣的内容形成了巨大挑战,传统搜索引擎在一定程度上能满足人们对网络内容的检索需求,但也存在信息驳杂、检索结果不相关等问题。为此人们研发了垂直搜索引擎,满足了用户对特定领域更为精细的检索需求。主题爬虫是垂直搜索引擎的核心组成部分,为垂直搜索引擎采集特定领域的网络数据,本文的主要研究内容即为主题爬虫。主题爬虫通过预定义的主题对网页进行爬取,在爬取过程中过滤与主题无关的网页,采用特定的搜索策略预测控制网页爬取的顺序与路线,以达到在减少无关网页访问的基础上爬取更多主题相关网页的目的。shark-search算法是一种基于网页内容元素的启发式主题爬虫算法,因其实现简单、爬取效率高等优点被广泛运用。然而shark-search算法也存在主题判别不准确,爬取过程中出现“近视问题”和“隧道问题”等不足。本文对主题爬虫的原理以及实现细节进行了全方位的介绍,并且围绕主题判别以及爬虫搜索策略两个方面对shark-search进行改进,以提高其爬取性能。主要工作有:1.针对向量空间模型仅使用关键词匹配计算相关度而忽视词语语义信息的问题,提出一种新的主题相关度计算模型:通过word2vec以及LDA构建主题词向量,对词语进行语义扩充;结合网页半结构化特征改进TF-IDF算法并提取网页关键词,并将网页与主题使用对应关键词主题词向量的加权平均表示,使用余弦距离计算主题相关度。实验结果表明,本文提出的相关度计算模型在网页主题判别方面优于传统的空间向量模型;2.针对shark-search算法在链接评价时只考虑了链接的内容属性而忽略链接的网络结构属性的“近视问题”,根据互联网的内容聚合原则,提出了一种基于url聚类的链接评价方法,计算链接在网络结构方面的得分,与shark-search算法原有的链接内容得分共同构成链接得分,不仅解决了 shark-search算法的“近视问题”,并且降低了因锚文本缺失造成的错误率;3.为了更好地解决主题爬虫的“隧道问题”,扩大爬虫的覆盖面积,本文对shark-search算法中的隧道穿越机制进行优化,结合HITS算法思想对网页进行hub类型判定,针对不同类型的网页制定不同的隧道穿越策略,优化后的算法和shark-search相比能更快停止无关搜索并能提高对长隧道的穿越成功率;4.将本文提出的主题相关度计算模型引入shark-search算法中,代替原有的向量空间模型,并结合以上对shark-search算法搜索策略的改进提出一种基于改进shark-search算法的主题爬虫,与其他主题爬虫算法进行对比实验,在查准率和收获率方面都高出5%以上,验证了本文提出的主题爬虫算法的有效性。

关键词：主题爬虫主题判别 shark-search算法链接评价

来源：评论

学校读者我要写书评

暂无评论

改进的shark-search算法在网络采集中的应用

引用

计算机技术与发展 2017年第8期27卷 192-194,199页

作者：张玲祁玉娟姜华湖南省第一师范学院信息科学与工程学院湖南长沙410205

shark-search是一种依据链接价值的高低进行优先采集的算法,用于主题信息采集系统时由于只考虑了网页文本和链接锚文本与主题的相关性而忽略了网页的组织结构特性,在抓取有较多噪音链接的网页时效果欠佳。基于网页组织结构特性的分析研... 详细信息

shark-search是一种依据链接价值的高低进行优先采集的算法,用于主题信息采集系统时由于只考虑了网页文本和链接锚文本与主题的相关性而忽略了网页的组织结构特性,在抓取有较多噪音链接的网页时效果欠佳。基于网页组织结构特性的分析研究,提出了一种基于网页主题分块的shark-search算法。该算法在经典shark-search算法的基础上依据网页组织结构根据网页布局标签对页面内容进行分块,从网页,块和链接三个层面与主题的相关性得到链接的综合价值,因而具有自学习功能,能统计学习与主题相关性较大的块特征,并在发生主题漂移的时候具有自调整功能,给予主题相关性较大的父页面上的链接更多被抓取的机会。采集实验结果表明,所提出的算法在经典shark-search的基础上能较好地改进主题信息采集的查准率,能够更灵活地针对实际的Web资源状况进行自调整。

关键词： shark-search算法网页分块 Web信息搜集链接价值主题漂移

来源：评论

学校读者我要写书评

暂无评论

面向红枣信息资源的爬虫技术研究

面向红枣信息资源的爬虫技术研究

引用

作者：杨广召塔里木大学

学位级别：硕士

在现代互联网技术迅猛发展的时代,互联网上的各类资源呈现出爆炸式增长,网络上积累了丰富的红枣相关信息。传统主题网络爬虫会爬取与红枣主题相关性高的页面,但不能满足用户想要快速、精准、有效获取所需红枣信息的需求。传统主题网络... 详细信息

在现代互联网技术迅猛发展的时代,互联网上的各类资源呈现出爆炸式增长,网络上积累了丰富的红枣相关信息。传统主题网络爬虫会爬取与红枣主题相关性高的页面,但不能满足用户想要快速、精准、有效获取所需红枣信息的需求。传统主题网络爬虫在页面检索时能够做到只爬取与主题相关性高的页面,但现有传统主题网络爬虫的算法也存在缺点,如容易产生“主题漂移”、对新页面忽视和红枣链接去重效率低等问题。针对红枣类相关页面,结合不同算法的优点对HITS(Hyperlink-Induced Topic search)算法和链接去重算法进行改进,以使改进后的算法在爬取页面时展现更好的性能。本文的主要研究内容如下:首先,对通用网络爬虫中相关理论和技术进行研究,主要对主题网络爬虫实现中用到的相关技术进行分析,并对页面处理,主题相关度计算等进行分析。其次,在对传统主题网络爬虫技术的研究中发现存在一些问题:***算法存在对新页面忽视问题和“主题漂移”现象。2.传统内存去重方法对红枣链接去重效率低。针对以上问题对红枣主题网络爬虫中的算法展开研究,结合不同算法的优点对红枣主题网络爬虫算法进行改进,使改进后的算法在爬取红枣页面时展现出更好的性能。再次,对传统主题网络爬虫算法的深入研究,发现现有主题网络爬虫算法的不足并对其进行改进,提出引入时间因素的HITS算法与shark-search算法相结合,使得结合后的算法在页面爬取时与红枣主题密切相关,解决传统算法中对新页面忽视问题和消除“主题漂移”现象,提高红枣主题网络爬虫算法查准率和查全率。针对传统内存去重效率低的问题,提出基于Redis的Bloom Filters去重方法,Bloom Filters将红枣链接表示成二进制向量并存储在内存数据库Redis中,提高了红枣链接的去重效率。最后,实现红枣主题网络爬虫系统整体爬取功能,将改进算法应用于关键功能模块的实现。实验结果表明,改进算法在提高红枣主题相关计算和红枣链接去重效率方面是可行有效的。

关键词：红枣主题网络爬虫 HITS算法 shark-search算法 Bloom Filters Redis

来源：评论

学校读者我要写书评

暂无评论

面向牙齿健康领域的垂直搜索引擎的设计和实现

引用

科技视界 2022年第33期 192-195页

作者：杨祎杰易云飞范源源黄启峰段文朋河池学院大数据与计算机学院广西宜州546300

本文主要提出通过基于shark-search算法结合百度AI自然语言处理中的文本相似性实现主题爬虫,舍弃不相关链接。本引擎使用Scrapy作为爬虫框架、Elasticsearch数据库用于数据检索、Django用于后台开发、MySQL用于存储关系数据结构。本引... 详细信息

本文主要提出通过基于shark-search算法结合百度AI自然语言处理中的文本相似性实现主题爬虫,舍弃不相关链接。本引擎使用Scrapy作为爬虫框架、Elasticsearch数据库用于数据检索、Django用于后台开发、MySQL用于存储关系数据结构。本引擎可以实现权威信息检索,用户可以利用其快速检索到想要信息,响应速度也能够满足大部分用户需求。通过这个搜索引擎可以解决用户日常使用时搜索结果存在的大量的烦琐信息,对部分警惕性较差的用户具有误导、欺骗作用,为用户牙齿健康保驾护航。

关键词： Python 垂直搜索引擎 shark-search算法 Scrapy

来源：评论

学校读者我要写书评

暂无评论

一种改进shark-search的主题爬虫算法

引用

微型电脑应用 2017年第2期33卷 19-21页

作者：仇磊娄渊胜常民河海大学计算机与信息学院南京211100

针对shark-search算法在主题爬虫中对网页全局性的考虑不足,利用PageRank算法计算待下栽URL的权威值来弥补这种不足,提出了shark-PageRank算法,依据锚文本、锚文本邻近的文本和网页的权威值来权衡URL的价值。实验结果显示,在单位时间里... 详细信息

针对shark-search算法在主题爬虫中对网页全局性的考虑不足,利用PageRank算法计算待下栽URL的权威值来弥补这种不足,提出了shark-PageRank算法,依据锚文本、锚文本邻近的文本和网页的权威值来权衡URL的价值。实验结果显示,在单位时间里,该算法提高了主题爬虫的速度,并且随着网页数量的增加,该算法具有良好的准确率和稳定性。

关键词：主题爬虫 shark-search算法 PageRank算法垂直搜索

来源：评论

学校读者我要写书评

暂无评论

主题搜索及其关键算法的研究

主题搜索及其关键算法的研究

引用

作者：吕鑫西安电子科技大学

学位级别：硕士

在现代互联网技术飞速发展的时代,互联网上的各类资源呈现出爆炸式增长,在海量的网络信息中,如何快速、准确的找出用户所需求的信息也日渐困难。通用搜索引擎虽然被广泛使用,但是却难以满足特殊用户想要精准获取所需信息的需求,因此当... 详细信息

在现代互联网技术飞速发展的时代,互联网上的各类资源呈现出爆炸式增长,在海量的网络信息中,如何快速、准确的找出用户所需求的信息也日渐困难。通用搜索引擎虽然被广泛使用,但是却难以满足特殊用户想要精准获取所需信息的需求,因此当用户想要获取所需信息时,需要用到垂直搜索引擎。主题网络爬虫爬取策略作为垂直搜索引擎的核心,在页面检索时能够做到只爬取与主题相关性高的页面。但现有的传统主题爬虫的算法也有缺点,如容易产生主题漂移现象,对全局性考虑欠缺等。本文的研究是基于为某研究所开发军事信息检索系统,重点对主题爬虫搜索策略展开研究,针对军事类相关页面,结合不同算法的优缺点对PageRank算法进行改进,以使改进后的算法在爬取页面时展现更好的性能。本文的主要研究内容如下:首先,对网络爬虫中相关理论和技术进行研究。主要分析了通用爬虫与主题爬虫系统的架构与两者之间的区别。再对主题爬虫实现中用到的相关技术进行分析,主要对页面处理,相关度计算等进行分析。然后,针对军事类主题页面的抓取,对PageRank算法进行分析。发现PageRank算法在指导爬虫抓取页面时,容易出现对新网页忽视的问题与发生主题漂移现象,对于军事类注重时效的主题页面,此缺陷更加明显。因此本文针对PageRank算法对新页面出现忽视问题提出改进策略:在对军事类主题页面进行抓取时,将此算法中引入时间因素,通过对时间的处理,使原算法在计算PageRank值时降低旧页面的计算值,消除此算法在新旧页面计算中的缺陷。针对PageRank算法容易产生主题漂移现象提出的改进策略:利用shark-search算法在指导爬虫抓取时对页面相关度的考量,将引入时间因素的PageRank算法与shark-search算法相结合,使得结合后的算法在页面抓取时与主题相关,以此来消除主题漂移现象。最后,通过实验对改进后的新算法的有效性进行评价。对算法的评价利用了查准率和查全率,互联网中存在与主题相关的所有页面总数很难得到,且在计算中应为恒定值,因此本文利用对比三种算法对爬取到与主题相关的网页数来代替查全率。通过实验验证,改进后的新算法在军事类主题相关页面的查准率和查全率上都表现出较好的性能。并将算法应用于信息检索系统中,在索引方面与百度索引相比,展现出信息检索系统对索引内容的主题相关性。

关键词：主题爬虫爬取策略 shark-search算法 PageRank算法时间因素

来源：评论

学校读者我要写书评

暂无评论

引入主题链接块因子的候选链接搜索策略研究

引用

计算机与数字工程 2018年第5期46卷 874-878页

作者：周雪刘乃文山东师范大学信息科学与工程学院济南250014 山东省分布式计算机软件新技术重点实验室济南250014

网页主题爬取过程中,需要计算网页中出现的url权重,不断填充待爬行队列,以满足爬行条件,如何发现与主题最相关的链接,同时又不会导致"主题漂移"问题是关键。针对链接的锚文本较短小,不能很好地表明链接指向页面与主题的相关... 详细信息

网页主题爬取过程中,需要计算网页中出现的url权重,不断填充待爬行队列,以满足爬行条件,如何发现与主题最相关的链接,同时又不会导致"主题漂移"问题是关键。针对链接的锚文本较短小,不能很好地表明链接指向页面与主题的相关性的问题,论文在shark-search算法的基础上引入相关链接块权重,利用块中子链接的锚文本进行块的权重计算,通过对比实验验证了改进算法可以更好地区分处于同一页面中的链接的相关度评分,提高爬虫的查准率,同时缓和"主题漂移"的问题。

关键词：网页分块 shark-search算法链接结构主题链接块

来源：评论

学校读者我要写书评

暂无评论

基于网页分块的主题爬虫技术研究: 基于网页分块的主题爬虫技术研究; 收藏
分享
引用; 作者：周雪山东师范大学; 学位级别：硕士; 随着Web信息的多元化发展以及信息量的膨胀速度日益加快,不仅存储成本提高,信息采集也变得越来越难。通用爬虫在工作过程中会消耗大量的网络带宽,造成系统资源的浪费。而且它不太关心搜索到的页面是否符合用户的搜索主题,往往会返回很... 详细信息; 随着Web信息的多元化发展以及信息量的膨胀速度日益加快,不仅存储成本提高,信息采集也变得越来越难。通用爬虫在工作过程中会消耗大量的网络带宽,造成系统资源的浪费。而且它不太关心搜索到的页面是否符合用户的搜索主题,往往会返回很多与用户并不感兴趣的页面。因此,为了提高爬取效率,改善用户体验度,产生了以主题爬虫为核心的垂直搜索引擎。主题爬虫在页面抓取过程中采取启发式搜索策略,通过计算页面与用户搜索主题的相关度,将与用户搜索主题不相关的页面过滤掉,只下载与主题相关的页面存入待访问队列。网上的信息丰富多彩,如何有效的获取并整合主题内容信息以及如何利用爬虫全面准确地下载主题相关网页是面临的关键技术挑战。本文通过研究主题爬虫技术领域已取得的研究成果,主要对网页分块处理以及候选链接搜索策略进行了深入研究。在基于标签信息和视觉信息的分块布局下,提出了引入主题链接块因子的候选链接搜索算法。具体主要工作如下:(1)基于标签属性与视觉信息进行网页分块。利用标签和标签的布局规律,结合CSS样式表和属性中的视觉信息进行分块处理。首先根据网页设计规律制定分类规则,将内容块分为文本块、链接块和无关块三类。然后进行主题文本块提取,先利用标签属性值进行初步过滤,再与基准块进行相似度计算进行进一步过滤,得到最终符合条件的文本。利用主题链接块提取规则进行主题块匹配,过滤噪音链接,获取所需的主题链接块。本文选取的基于标签属性与视觉信息的分块方法在实际应用中易于实现,避免块间大范围盲目匹配,具有较低的时间和空间复杂度。(2)主题爬虫在爬取过程中,需要先计算待爬取链接队列中的链接权重,按照权重大小决定访问顺序。本文在shark-search算法的基础上引入主题链接块权重的概念,提出基于主题链接块的改进搜索策略对网页中的URL进行优先级预测。将链接块中所有子链接的锚文本作为链接相关度计算的主要影响因素,在shark-search算法的理论基础上,引入主题链接块权重概念,并结合了链接结构的影响。(3)为了保证系统的有效性,首先在不同的阈值下分别实现HITS算法、shark-search算法和本文算法,将三种算法的结果进行对比分析。实验数据证明本文系统在多个阈值设置下都优于其他两种算法。然后对三种算法下的查全率和信息量总和进行了详细比较,并针对语义明确的主题和抽象概念的主题漂移率进行了实验分析,结果证明改进系统性能更优秀。更多还原

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：