检索结果-内蒙古大学图书馆

山东大学学报（理学版） 2007年第9期42卷 62-66页

作者：陈军陈竹敏山东大学网络中心山东济南250100 山东大学计算机科学与技术学院山东济南250061

shark-search算法是一个经典的主题爬取算法.针对该算法在爬取噪音链接较多的Web页面时性能并不理想的问题,提出了基于网页分块的shark-search算法,该算法从页面、块、链接的多种粒度来更加有效的进行链接的选择与过滤.实验证明,改进的S... 详细信息

shark-search算法是一个经典的主题爬取算法.针对该算法在爬取噪音链接较多的Web页面时性能并不理想的问题,提出了基于网页分块的shark-search算法,该算法从页面、块、链接的多种粒度来更加有效的进行链接的选择与过滤.实验证明,改进的shark-search算法比传统的shark-search算法在查准率和信息量总和上有了质的提高.

关键词： shark-search算法主题爬取页面分块相关性计算

来源：评论

学校读者我要写书评

暂无评论

基于链接聚类的shark-search算法

引用

山东大学学报（理学版） 2006年第3期41卷 139-143页

作者：苏祺项锟孙斌北京大学计算语言学研究所北京100871

根据对shark-search主题爬取算法的分析,提出了一种基于链接聚类的改进shark-search算法.并通过几个对比实验对该算法进行了验证.实验结果表明,新算法能够更有效地识别链接与主题的相关性.

关键词： shark-search算法主题爬取链接聚类

来源：评论

学校读者我要写书评

暂无评论

基于改进的shark-search算法的健康垂直搜索引擎的研究与实现

基于改进的Shark-Search算法的健康垂直搜索引擎的研究与实现

引用

作者：陈豪南昌大学

学位级别：硕士

随着近几年经济飞速发展和人民生活水平的提高,健康问题也越来越受人们重视。而在使用当前传统搜索引擎搜索健康领域信息时,搜索结果中往往存在大量的广告信息,并且专业性、权威性较差。针对该问题,本课题基于改进的shark-search算法实... 详细信息

随着近几年经济飞速发展和人民生活水平的提高,健康问题也越来越受人们重视。而在使用当前传统搜索引擎搜索健康领域信息时,搜索结果中往往存在大量的广告信息,并且专业性、权威性较差。针对该问题,本课题基于改进的shark-search算法实现了一个健康领域的垂直搜索引擎,课题主要工作如下:（1）对shark-search算法的不足进行改进。针对shark-search算法使用链接上下文计算导致噪音链接对主题链接判定产生负面影响的不足,将链接上下文改为使用网页标题来计算,其他计算因素不变;针对shark-search算法的“近视问题”,提出将shark-search算法与OPIC算法相结合。通过实验表明shark-search改进算法较shark-search算法、OPIC算法、shark-PageRank算法在查准率上分别提高了7.8%、14.1%、0.9%,在查全率（目标召回率）上分别提高了 11.8%、17.7%、2.9%。（2）基于改进的shark-search算法实现健康领域的爬虫,并基于爬取的数据开发了一个健康领域的垂直搜索引擎。将本垂直搜索引擎与百度和必应搜索对比测试,结果表明本垂直搜索引擎在搜索健康关键词时在结果的前100个网页中主题相关性表现更好。本文的创新点在于:1、在shark-search算法中考虑使用网页标题来替代链接上下文来做主题相关度计算,避免噪音链接对主题链接判定产生影响。2、提出将shark-search算法与OPIC算法相结合,这不仅改善了shark-search算法的“近视问题”,在一定程度上消除了 OPIC算法的“主题漂移”问题。

关键词：健康领域垂直搜索引擎 shark-search算法 OPIC算法主题相关度

来源：评论

学校读者我要写书评

暂无评论

基于改进shark-search算法的主题爬虫研究

基于改进Shark-Search算法的主题爬虫研究

引用

作者：许磊南京大学

学位级别：硕士

互联网中信息过载对人们从网络中获取感兴趣的内容形成了巨大挑战,传统搜索引擎在一定程度上能满足人们对网络内容的检索需求,但也存在信息驳杂、检索结果不相关等问题。为此人们研发了垂直搜索引擎,满足了用户对特定领域更为精细的检... 详细信息

互联网中信息过载对人们从网络中获取感兴趣的内容形成了巨大挑战,传统搜索引擎在一定程度上能满足人们对网络内容的检索需求,但也存在信息驳杂、检索结果不相关等问题。为此人们研发了垂直搜索引擎,满足了用户对特定领域更为精细的检索需求。主题爬虫是垂直搜索引擎的核心组成部分,为垂直搜索引擎采集特定领域的网络数据,本文的主要研究内容即为主题爬虫。主题爬虫通过预定义的主题对网页进行爬取,在爬取过程中过滤与主题无关的网页,采用特定的搜索策略预测控制网页爬取的顺序与路线,以达到在减少无关网页访问的基础上爬取更多主题相关网页的目的。shark-search算法是一种基于网页内容元素的启发式主题爬虫算法,因其实现简单、爬取效率高等优点被广泛运用。然而shark-search算法也存在主题判别不准确,爬取过程中出现“近视问题”和“隧道问题”等不足。本文对主题爬虫的原理以及实现细节进行了全方位的介绍,并且围绕主题判别以及爬虫搜索策略两个方面对shark-search进行改进,以提高其爬取性能。主要工作有:1.针对向量空间模型仅使用关键词匹配计算相关度而忽视词语语义信息的问题,提出一种新的主题相关度计算模型:通过word2vec以及LDA构建主题词向量,对词语进行语义扩充;结合网页半结构化特征改进TF-IDF算法并提取网页关键词,并将网页与主题使用对应关键词主题词向量的加权平均表示,使用余弦距离计算主题相关度。实验结果表明,本文提出的相关度计算模型在网页主题判别方面优于传统的空间向量模型;2.针对shark-search算法在链接评价时只考虑了链接的内容属性而忽略链接的网络结构属性的“近视问题”,根据互联网的内容聚合原则,提出了一种基于url聚类的链接评价方法,计算链接在网络结构方面的得分,与shark-search算法原有的链接内容得分共同构成链接得分,不仅解决了 shark-search算法的“近视问题”,并且降低了因锚文本缺失造成的错误率;3.为了更好地解决主题爬虫的“隧道问题”,扩大爬虫的覆盖面积,本文对shark-search算法中的隧道穿越机制进行优化,结合HITS算法思想对网页进行hub类型判定,针对不同类型的网页制定不同的隧道穿越策略,优化后的算法和shark-search相比能更快停止无关搜索并能提高对长隧道的穿越成功率;4.将本文提出的主题相关度计算模型引入shark-search算法中,代替原有的向量空间模型,并结合以上对shark-search算法搜索策略的改进提出一种基于改进shark-search算法的主题爬虫,与其他主题爬虫算法进行对比实验,在查准率和收获率方面都高出5%以上,验证了本文提出的主题爬虫算法的有效性。

关键词：主题爬虫主题判别 shark-search算法链接评价

来源：评论

学校读者我要写书评

暂无评论

改进的shark-search算法在网络采集中的应用

引用

计算机技术与发展 2017年第8期27卷 192-194,199页

作者：张玲祁玉娟姜华湖南省第一师范学院信息科学与工程学院湖南长沙410205

shark-search是一种依据链接价值的高低进行优先采集的算法,用于主题信息采集系统时由于只考虑了网页文本和链接锚文本与主题的相关性而忽略了网页的组织结构特性,在抓取有较多噪音链接的网页时效果欠佳。基于网页组织结构特性的分析研... 详细信息

shark-search是一种依据链接价值的高低进行优先采集的算法,用于主题信息采集系统时由于只考虑了网页文本和链接锚文本与主题的相关性而忽略了网页的组织结构特性,在抓取有较多噪音链接的网页时效果欠佳。基于网页组织结构特性的分析研究,提出了一种基于网页主题分块的shark-search算法。该算法在经典shark-search算法的基础上依据网页组织结构根据网页布局标签对页面内容进行分块,从网页,块和链接三个层面与主题的相关性得到链接的综合价值,因而具有自学习功能,能统计学习与主题相关性较大的块特征,并在发生主题漂移的时候具有自调整功能,给予主题相关性较大的父页面上的链接更多被抓取的机会。采集实验结果表明,所提出的算法在经典shark-search的基础上能较好地改进主题信息采集的查准率,能够更灵活地针对实际的Web资源状况进行自调整。

关键词： shark-search算法网页分块 Web信息搜集链接价值主题漂移

来源：评论

学校读者我要写书评

暂无评论

基于链接聚类的shark-search算法

基于链接聚类的Shark-Search算法

引用

第四届全国搜索引擎和网上信息挖掘学术研讨会(SEWM2006)

作者：苏祺项锟孙斌北京大学计算语言学研究所北京100871

关键词： shark-search算法主题爬取链接聚类

来源：评论

学校读者我要写书评

暂无评论

一种改进shark-search的多媒体主题搜索算法

引用

计算机工程与应用 2010年第14期46卷 152-154页

作者：杨仁广宋宇孟祥增山东师范大学传播学院济南250014 南京中医药大学图书馆信息技术部南京210046

针对包含多媒体的网页链接特点,对shark-search主题搜索算法在搜索宽度、链接相似性判断以及待爬行链接选取策略上进行改进,采取"先搜索、后判断"的搜索过程。实验结果表明,改进的shark-search算法能够大大提高多媒体主题网... 详细信息

针对包含多媒体的网页链接特点,对shark-search主题搜索算法在搜索宽度、链接相似性判断以及待爬行链接选取策略上进行改进,采取"先搜索、后判断"的搜索过程。实验结果表明,改进的shark-search算法能够大大提高多媒体主题网页搜索的效率。

关键词： Fish-search算法 shark-search算法主题搜索

来源：评论

学校读者我要写书评

暂无评论

一种改进shark-search的主题爬虫算法

引用

微型电脑应用 2017年第2期33卷 19-21页

作者：仇磊娄渊胜常民河海大学计算机与信息学院南京211100

针对shark-search算法在主题爬虫中对网页全局性的考虑不足,利用PageRank算法计算待下栽URL的权威值来弥补这种不足,提出了shark-PageRank算法,依据锚文本、锚文本邻近的文本和网页的权威值来权衡URL的价值。实验结果显示,在单位时间里... 详细信息

针对shark-search算法在主题爬虫中对网页全局性的考虑不足,利用PageRank算法计算待下栽URL的权威值来弥补这种不足,提出了shark-PageRank算法,依据锚文本、锚文本邻近的文本和网页的权威值来权衡URL的价值。实验结果显示,在单位时间里,该算法提高了主题爬虫的速度,并且随着网页数量的增加,该算法具有良好的准确率和稳定性。

关键词：主题爬虫 shark-search算法 PageRank算法垂直搜索

来源：评论

学校读者我要写书评

暂无评论

主题爬虫搜索策略及关键技术研究

主题爬虫搜索策略及关键技术研究

引用

作者：徐宁重庆大学

学位级别：硕士

主题网络爬虫是主题搜索引擎的关键技术。主题爬虫能够智能地采集与特定主题相关的网页,而避免不相关网页的访问;主题爬虫的提出与运用能够极大缓解目前基于通用网络爬虫的搜索引擎中搜索覆盖率低,搜索精度低、网页更新不及时而无法满... 详细信息

主题网络爬虫是主题搜索引擎的关键技术。主题爬虫能够智能地采集与特定主题相关的网页,而避免不相关网页的访问;主题爬虫的提出与运用能够极大缓解目前基于通用网络爬虫的搜索引擎中搜索覆盖率低,搜索精度低、网页更新不及时而无法满足用户的个性化需求的问题。主题爬虫的核心难点是预测未访问链接的主题相关度。目前比较经典的主题爬虫中普遍采用向量空间模型来计算网页内容的主题相关度,这种方法没有考虑到主题词项的语义信息;在网页内容相关性分析链接上下文时,往往引入噪音,不能准确反应主题相关性;在结合链接结构分析和内容相似性分析时考虑因素不全,只是二者分值相加;在主题爬取过程中没有考虑隧道特征,或者引入隧道方法不佳导致大量非相关网页被下载。为了解决上述问题,本文研究工作如下:(1)本文在原有向量空间模型的基础上,还考虑关键词项的语义相似度,提出了基于词项语义相似度的向量空间模型(TSSVSM)。本文主题爬虫算法将利用TSSVSM模型计算网页文本与主题的相似度。(2)本文在分析隧道特征的基础上,提出了自适应隧道穿越方法,此方法能够网页内容和穿越路径的相关性综合动态计算隧道穿越的距离,从而在获得更多主题相关网页的前提下减少无关网页的访问。(3)本文分析了链接上下文的局限性,在计算内容相似度时去掉链接上下文因素而加入网页标题因素,网页内容相似度由网页标题、网页文本和锚文本综合决定,然后对OPIC算法进行改进,提出了依据网页内容相似度大小进行不平均分配现金值的NOS算法。(4)本文在开源网络爬虫Nutch上定制和实现本文提出的主题爬虫算法和其他主题爬虫算法,使用收获率和召回率作为实验评价指标。本文从ODP中选择主题和种子网页,并将本文算法和Best-First算法、shark-search算法和OTIE算法进行对比实验。实验结果表明本文提出的主题爬虫算法不仅具有明显好的查全率,而且具有很好的查准率。

关键词：主题爬虫语义相似度向量空间模型 shark-search算法隧道穿越

来源：评论

学校读者我要写书评

暂无评论

垂直搜索引擎技术研究与应用 ——承乘广缘网站搜索引擎的设计

垂直搜索引擎技术研究与应用 ——承乘广缘网站搜索引擎的设计

引用

作者：刘彤西安建筑科技大学

学位级别：硕士

随着Internet的飞速发展,Web上的信息量越来越大,通用搜索引擎将面临信息采集、存储等方面更大的挑战。此外,工作频率不断加快的现代商务人群对通用搜索页面中的大量非目标源信息感到不满,开始对专业领域的搜索精确性产生了强烈的需求,... 详细信息

随着Internet的飞速发展,Web上的信息量越来越大,通用搜索引擎将面临信息采集、存储等方面更大的挑战。此外,工作频率不断加快的现代商务人群对通用搜索页面中的大量非目标源信息感到不满,开始对专业领域的搜索精确性产生了强烈的需求,因此,面向专业领域的搜索引擎即垂直搜索引擎应运而生。承乘广缘网络科技有限公司针对这一需求,筹备创建面向商业用户的垂直搜索引擎——搜商网。本文依托该项目研究设计了搜商网的搜索引擎。本文分析了当前Web信息检索的模型及算法,针对搜商网垂直搜索引擎中的一些关键问题展开研究,主要包括三个核心模块:搜商网的信息爬取、信息分类及信息索引。信息爬取模块针对如今Web上页面上噪声较多,且相关链接较为集中,成块出现等特点,对原有的shark-search算法进行了改进,具体内容包括避开广告等与主题无关的噪声,提高相关网页块中锚文本与主题无关链接的优先级,使相关链接优先爬取,并获得更多相关链接。信息分类模块提出了一种简单的阶梯式一对一支持向量机文本分类器。分类算法分析了支持向量机在文本分类中的优势,结合支持向量机理论二分类的特点,将多类依次使用多个分类器分开,这种方法拥有模型简单,分类准确及易于实现等优点。信息索引模块提出了一种基于中文分词索引的倒排序索引数据库。本文使用由正排索引结果建立倒排索引的方法建立索引数据库,并在索引库中使用改进的链表式存储结构,减少了更新数据库多花费的服务器开销。最后基于以上设计,本文给出了搜商网垂直搜索引擎的系统总体框架设计。

关键词：垂直搜索 shark-search算法支持向量机倒排序

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：