检索结果-内蒙古大学图书馆

计算机系统应用 2008年第7期17卷 42-45页

作者：钱杰张健高乐浙江工业大学信息工程学院浙江杭州310023 浙江工业大学软件学院浙江杭州310023

本文介绍了web结构挖掘的基本原理,详细分析Google的PageRank算法,针对其中的缺陷进行改进,提出了一种集链接、时间、网页内容为一体的PageRank改进算法CTPR,目的是将内容与搜索内容相关度高的、比较权威的、新的网页排列在搜索结果的... 详细信息

本文介绍了web结构挖掘的基本原理,详细分析Google的PageRank算法,针对其中的缺陷进行改进,提出了一种集链接、时间、网页内容为一体的PageRank改进算法CTPR,目的是将内容与搜索内容相关度高的、比较权威的、新的网页排列在搜索结果的最前面。网页的等级由CTPR值决定,CTPR值由两个部分组成,一个是传统PR算法的值;另一个是网页自评值,它与内容权值成正比,与网页的内容的新旧程度成反比。最后,对此算法进行效果演示,验证算法的有效性。

关键词： PageRank web结构挖掘 CTPR算法 web数据挖掘内容权值时间权值

来源：评论

学校读者我要写书评

暂无评论

web结构挖掘与其基于超链接结构的算法

引用

科技信息 2007年第2期 20-20,53页

作者：张佳梁少华长江大学计算机科学学院湖北荆州434023

web结构挖掘是对web页面之间的结构进行挖掘。挖掘对象主要是页面的超链接结构,这种结构为人们增强对网页的分析处理提供了极大的帮助。本文对基于超链接的web结构挖掘进行了概述,并对其主要算法PageRank进行了研究。

关键词： web结构挖掘超链接 PageRank

来源：评论

学校读者我要写书评

暂无评论

web结构挖掘中HITS算法改进的研究

引用

微计算机信息 2010年第3期26卷 160-162页

作者：范聪贤徐汀荣范强贤苏州大学计算机科学与技术学院江苏苏州215006

随着Internet技术的发展,web网页成为人们获取信息的有效途径,web数据挖掘逐渐成为国内外研究的热点。基于web结构挖掘中HITS算法只考虑页面之间的链接关系而忽视了页面的具体内容,在这种情况下容易出现主题偏离[1]现象,影响了搜索结果... 详细信息

随着Internet技术的发展,web网页成为人们获取信息的有效途径,web数据挖掘逐渐成为国内外研究的热点。基于web结构挖掘中HITS算法只考虑页面之间的链接关系而忽视了页面的具体内容,在这种情况下容易出现主题偏离[1]现象,影响了搜索结果,为了抑制主题偏离现象,本文把超链接信息检索方法与页面内容相结合,提出了一种改进的算法。实验结果证明改进的算法较原算法具有较好的效果,有效的抑制了主题偏离现象,具有一定的实用价值。

关键词： web数据挖掘 web结构挖掘 HITS Google

来源：评论

学校读者我要写书评

暂无评论

web结构挖掘算法研究

引用

计算机与信息技术 2009年第4期 50-51,53页

作者：朱绍军兰帆黄明和江西师范大学计算机信息工程学院江西南昌330022 江西师范大学软件学院江西南昌330022

分析了web结构挖掘算法PageRank和HITS,并对二者进行了比较,指出它们所存在的问题,提出了一种PageRank的改进算法。

关键词： web结构挖掘 PageRank HITS

来源：评论

学校读者我要写书评

暂无评论

基于最大流与页面相似度值的web结构挖掘研究

基于最大流与页面相似度值的Web结构挖掘研究

引用

作者：李莹陕西师范大学

学位级别：硕士

web中的信息量正以惊人的速度增加,从这些数据中抽取、过滤和发现有用的信息,成为人们的迫切需要。web挖掘引入超链接分析技术,为解决海量信息是否能有效利用这一问题提供了一条崭新的思路,这对提供个性化服务、改进web系统性能和结构... 详细信息

web中的信息量正以惊人的速度增加,从这些数据中抽取、过滤和发现有用的信息,成为人们的迫切需要。web挖掘引入超链接分析技术,为解决海量信息是否能有效利用这一问题提供了一条崭新的思路,这对提供个性化服务、改进web系统性能和结构、提供商业决策支持等方面都有重要的理论和应用价值。本文主要研究web结构挖掘中超链接分析技术,重点研究超链接分析算法的原理以及现存的一些问题,将空间向量投影方法和web社区发现方法应用到web超链接分析中,解决web结构挖掘中容易出现的“主题漂移”等问题。本文的主要工作及创新归纳为以下三个方面： (1)利用web社区发现技术对基集进行优化,提高基集质量。分析web页面的超链接结构,筛选出根集Rμ周围与主题相关的节点并添加到基集Bμ中,去掉基集Bμ中的无关页面；之后将Rμ扩展两层,利用最大流web社区发现算法原理,以Rμ中的节点作为种子节点来发现web社区。优化操作不仅保证了基集Bμ的质量,而且也降低了算法的运算开销： (2)页面相似度值的引入。现有的搜索引擎在爬取web文档,分析每个文档的内容时,会通过计算得到页面与查询主题的相似度值,并与搜索结果一起反馈给搜索用户。因此利用容易取到这些的相似度值来衡量web页面超链接与查询关键字间的相关程度,能够更有效的区分超链接在web网络中的地位,且大幅度的降低算法执行时的系统消耗； (3)利用空间投影方法的核心思想,构造基于页面相似度值的向量空间。在页面相似度值引入的前提下,以VSM向量空间模型为基础,构建基于相似度值的子空间。通过获取与该空间联系最密切的特征向量来进行投影,投影后获取绝对值最大的特征向量集并进行迭代计算,返回的页面结果集与相似度值高的页面集链接非常密切,有效的解决了“主题漂移”问题。本文设计了一套系统用于验证改进算法的有效性和可行性。通过实验证明：基于最大流与页面相似度值的HITS改进算法在权威页而主题的相关性、中心页面主题的相关性以及运算开销等方而明显优于传统HITS算法,对于“主题漂移”现象有了很好的抑制效果,同时明显的提高了用户查询的精准度。

关键词： web结构挖掘 HITS算法页面相似度值空间向量投影

来源：评论

学校读者我要写书评

暂无评论

基于云计算环境的web结构挖掘算法研究

基于云计算环境的web结构挖掘算法研究

引用

作者：李辉浙江理工大学

学位级别：硕士

现今互联网信息技术迅速发展，web用户可以方便的获取各种信息，但是也面临着如何能够从海量的web信息中精准的定位有用信息的问题。网页中除了文本信息，页面间的链接结构也是人们用来获取有用信息的重要途径。web结构挖掘技术就是通... 详细信息

现今互联网信息技术迅速发展，web用户可以方便的获取各种信息，但是也面临着如何能够从海量的web信息中精准的定位有用信息的问题。网页中除了文本信息，页面间的链接结构也是人们用来获取有用信息的重要途径。web结构挖掘技术就是通过研究web中页面的链接关系来发现web中隐藏的潜在信息。然而通过单一的CPU节点来计算数据已经远远不能满足用户对互联网计算能力的需求。云计算技术的出现和发展，使得人们可以通过互通的网络环境搭建具有强大的计算能力和存储能力的云平台。复杂计算大都需要消耗大量的计算资源，将其部署到云平台上，利用多点的CPU进行计算，在降低终端设备要求的同时，获得了强大的数据处理的能力、可扩展的的数据存储能力。本文详细研究了web结构挖掘的经典算法PageRank、云计算的关键技术MapReduce编程模型以及其的开源实现--Hadoop框架，并做了如下工作: 1.将云计算技术的编程模型MapReduce与web结构挖掘的经典算法结合起来，对其进行了较为深入的研究，搭建的云环境，对不同规模的数据集，测试其在基于MapReduce模型下的PageRank算法下的性能。 2.针对网络上计算网页的PageRank值时形成稀疏矩阵，当数据量过大达到一定规模后，超过了预定义的***阈值时，就会出现缓冲数据被分区、排序以及创建一个新的溢出文件而导致的时间消耗过多的问题。本文提出了两个算法：一个是矩阵的裁枝算法，裁减掉与其他节点关联度低的节点信息，提高运行速率。另一个是基于矩阵分解并分块计算的算法，将在每次迭代计算中数值为常量的那部分略去，不再重复计算，并对计算中余下部分的矩阵向量采用分块法，成倍的减少记录数据时所需要的条数，减少I/O的访问，节省算法的运行时间。 3.使用Hadoop框架搭建云环境，在云环境下，针对不同规模的数据集，将基于MapReduce的PageRank并行算法和本文提出的两种改进算法进行性能的测试和比较，实验结果表明，本文中改进的算法在算法运行效率的提升和节省存储空间上具有一定的优越性。

关键词： web结构挖掘云计算 PageRank MapReduce Hadoop

来源：评论

学校读者我要写书评

暂无评论

基于web结构挖掘的敏感社团发现

基于Web结构挖掘的敏感社团发现

引用

作者：王强解放军信息工程大学

学位级别：硕士

随着万维网(WWW)的飞速发展,网络中充斥着各式各样的大量信息。面对如此大的信息量,人们已经不满足于从中简单地获取信息,而希望能够准确地从中找到自己感兴趣的信息,并得到这些信息的具体来源情况以及传播规律。web敏感社团是指代表群... 详细信息

随着万维网(WWW)的飞速发展,网络中充斥着各式各样的大量信息。面对如此大的信息量,人们已经不满足于从中简单地获取信息,而希望能够准确地从中找到自己感兴趣的信息,并得到这些信息的具体来源情况以及传播规律。web敏感社团是指代表群体的共同利益或兴趣并自发联系起来的网站目录的集合。通过发现web敏感社团可以对网络上的敏感信息进行准确的定位,得到网络中蕴藏的许多社会信息,还可以挖掘到许多隐含的社会行为。如何准确发现web敏感社团已经成为当前web智能领域的研究热点和难点之一。本文针对web信息采集,web结构挖掘和web敏感社团提取等方面展开了深入的研究,主要工作和创新点包括以下几个方面: ***三层结构模型的建立。传统的web敏感社团发现技术仅仅将网页作为研究对象,研究对象简单,挖掘模式单一,造成准确度较低、挖掘质量不高等问题。在对WWW中网站设计结构和网页内部视觉分块进行深入研究的基础上,建立了web的三层结构模型,将web结构挖掘的对象由原来单一的网络页面层扩展到网站目录层,网络页面层和网页分块层三个层次,为web结构挖掘算法的改进以及敏感社团的发现奠定了模型基础。 ***信息采集系统的设计与实现。为给三层结构模型准备充分的数据,设计并实现了一个web信息采集原型系统,用于采集网站目录,网络页面和网页分块的信息,而且还对这三者之间的关系进行了一定的评价,为后期工作提供了充足的数据准备。 3.基于三层结构的web结构挖掘算法的提出。在web三层结构模型的基础上,进一步提出了基于三层结构模型的web结构挖掘算法(Three-Layer Based PageRank,Three-Layer-Based HITS和Three-Layer Based Salsa),将传统的web结构挖掘算法与三层结构模型结合起来,在一定程度上提高了经典web结构挖掘算法的准确度。实验验证了该算法的有效性。 ***敏感社团的提取。通过三层结构的web结构挖掘算法获取到敏感页面之后,本文提出了以网站目录为单位的敏感社团的提取方法,以及社团成员的敏感度属性和物理属性的获取策略,从多个角度分析衡量了web敏感社团成员。最后,对本文工作进行了总结,对web挖掘在社会分析方面的发展进行了展望,并提出了将来的研究方向和构想。

关键词：信息检索社会网络分析 web结构挖掘 web敏感社团 web三层结构模型

来源：评论

学校读者我要写书评

暂无评论

基于web结构挖掘的HITS算法研究

基于Web结构挖掘的HITS算法研究

引用

作者：刘军中南大学

学位级别：硕士

web是一个巨大的信息资源库,提供了各种各样的信息服务,随着网络的普及和网络信息的迅速膨胀,如何有效的从web获取所需信息变得越来越重要。为此,在web这样的分布式环境中找到有价值的信息,并从中提取出知识内容已经成为目前信息检索、... 详细信息

web是一个巨大的信息资源库,提供了各种各样的信息服务,随着网络的普及和网络信息的迅速膨胀,如何有效的从web获取所需信息变得越来越重要。为此,在web这样的分布式环境中找到有价值的信息,并从中提取出知识内容已经成为目前信息检索、数据挖掘重要课题。用户不仅希望得到相关的web页面外,还希望检索到的页面具有高质量,即找到权威页面。网页的超链接是一个重要的研究途径,链接分析(即web结构挖掘)的引入和应用为这些问题的解决提供了一条崭新的思路。HITS算法是一种应用广泛的基于链接分析的权威资源提取算法,具有很高的研究价值。 web结构挖掘是web数据挖掘的一个重要方面,其重点在于信息检索,链接分析技术在该领域中扮演着极为重要的角色,并已经被成功的用于分析web超链接数据来确定权威的信息源。在各种对网页进行链接分析并提取分组的算法中,HITS(Hyper-text-Induced-Topic Search)算法是应用的最为广泛的。本文对HITS算法进行了重点研究,对传统HITS算法易产生主题偏移问题这一缺点进行了分析,并针对这一问题,使用根集向量投影法和基本集缩减法对HITS算法加以改进,接着在根集向量投影法的基础上,提出了根集向量加权投影法和基本集向量加权投影法,以更好的实现权威网页搜索。对改进后的HITS算法与传统HITS算法进行了实验比较,发现根集向量投影法可以有效的避免主题偏移现象,基本集缩减法可以大大的缩减算法运算量,而根集向量加权投影法和基本集向量加权投影法则可以在使权威网页的提取结果更为合理的基础上,有效提高算法的灵活性。

关键词： web结构挖掘 HITS算法向量投影法缩减法加权投影法

来源：评论

学校读者我要写书评

暂无评论

一种新的web结构挖掘算法的研究

一种新的Web结构挖掘算法的研究

引用

作者：刘王峰西安电子科技大学

学位级别：硕士

web数据挖掘是数据挖掘技术和Internet应用研究相结合的研究领域,现已成为数据挖掘领域的重点研究方向。web结构挖掘是web数据挖掘中的一个很重要的方面,其经典算法有HITS算法和PageRank算法。虽然这两种算法都取得了定的成效,但是也都... 详细信息

web数据挖掘是数据挖掘技术和Internet应用研究相结合的研究领域,现已成为数据挖掘领域的重点研究方向。web结构挖掘是web数据挖掘中的一个很重要的方面,其经典算法有HITS算法和PageRank算法。虽然这两种算法都取得了定的成效,但是也都存在一些不足之处,如主题漂移现象。本文在对经典的web结构挖掘算法HITS和PageRank进行了深入研究和分析的基础上,针对这两种经典算法的一些不足之处,提出了一种集超链接、超链接权重和时间权重三位于一体的新的算法—ANWSMA。该算法首先采用HITS算法中构造基集的思想得到有向图,然后用时间权重替换PageRank算法中的阻尼因子,同时针对链向网页的重要程度不同赋予不同的超链接权重,计算网页等级值,最后进行排序输出。最后,通过测试与分析,验证了ANWSMA算法的合理性和有效性。

关键词： web结构挖掘 PageRank HITS 时间权重 ANWSMA

来源：评论

学校读者我要写书评

暂无评论

基于云计算环境的web结构挖掘算法研究

基于云计算环境的Web结构挖掘算法研究

引用

作者：徐京安徽工程大学

学位级别：硕士

随着网络的快速发展,人们愈来愈频繁地在互联网上发布和获取信息,web页已经成为主要的信息源。信息量在不断增大的同时亦带来了数据分析和挖掘过程中的各种挑战。web结构挖掘技术通过研究web页面之间的链接关系可发现web中隐藏的潜在信... 详细信息

随着网络的快速发展,人们愈来愈频繁地在互联网上发布和获取信息,web页已经成为主要的信息源。信息量在不断增大的同时亦带来了数据分析和挖掘过程中的各种挑战。web结构挖掘技术通过研究web页面之间的链接关系可发现web中隐藏的潜在信息,而随着信息量的不断增大,如何提高web结构挖掘技术的性能已成为广泛研究的课题。云计算技术提供了一种解决方案,通过构建集群获取强大的计算和存储能力。集群可以部署在普通的廉价计算机上,通过并行处理可实现高性能计算,因此在云计算环境下能很好地实行web结构挖掘。本文概述了云计算相关知识,以及web挖掘和在此基础上发展而来的一个特殊应用——web结构挖掘；介绍了web结构挖掘中的经典算法—PageRank;详细说明了开源且被普遍应用的云计算平台—Hadoop。在这些基础上,主要完成了以下工作：(1)分析实现PageRank并行计算的内积法、外积法和矩阵分块法。研究如何通过Hadoop云计算环境、MapReduce框架和传统矩阵分块实现PageRank并行算法。(2)利用Gauss-Seidel迭代法可以减少迭代次数的优势,将PageRank算法中原本的幂迭代法替换成Gauss-Seidel迭代法,以有效地提高PageRank的计算效率。(3)针对传统矩阵分块中分块规则不易确定,分块后的计算较为繁琐的问题。提出结合MapReduce框架,基于最小分块原则实现PageRank算法的方法。此方法按照每一个网页计算PR值时所需的有效的元素进行分块存储,计算过程中减少了I/O传输消耗,从而提高了计算效率。(4)搭建Hadoop平台,完成不同规模的网页链接数据集的比较实验。实验结果表明在相同的并行环境下改进的矩阵分块PageRank实现方法较传统方法在计算效率上有一定的优越性。

关键词：云计算 Hadoop 最小分块 PageRank web结构挖掘

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：