检索结果-内蒙古大学图书馆

作者：邓远飞昆明理工大学

学位级别：硕士

随着数据库技术和计算机网络的迅速普及,在大数据时代下,如何通过数据挖掘技术手段,挖掘大数据下的深层次关系,让营销更准确、更有效已经成为热点话题。我国花卉产业伴随着改革开放的脚步不断成长扩大,但目前花卉电子商务应用仍处于探... 详细信息

随着数据库技术和计算机网络的迅速普及,在大数据时代下,如何通过数据挖掘技术手段,挖掘大数据下的深层次关系,让营销更准确、更有效已经成为热点话题。我国花卉产业伴随着改革开放的脚步不断成长扩大,但目前花卉电子商务应用仍处于探索发展的初级阶段,因此,数据挖掘技术应用在花卉电子商务领域更具有应用价值。本文针对花卉电子商务的行业特点,结合了爬虫技术、数据库技术、描述统计分析、文本挖掘和文本可视化技术,以花卉电子商务为切入点,以中国网上花城网站为研究对象,透过鲜花产品相关因素的分析来了解花卉市场,分析该网站的销售产品分类、价格、花语特点等,挖掘出网站产品的分类布局,产品价格配比分布、不同产品的花语特点等隐含数据信息,为花卉企业进行精准营销与决策提供数据支撑。本文通过介绍相关研究的背景与目的,概述相关研究的发展现状与技术,分别对数据抓取与存储,数据整理,数据分析与文本挖掘三个阶段进行研究,并给出经过结构化处理后存储在MySQL数据库的表结构以及一些核心R语言程序算法的代码。首先,本文通过对目标花卉web网站进行多层解析,使用XPath定位抽取相关的产品信息,存储进MySQL数据库中。然后,对半结构化数据和文本数据进行数据整理。其中,半结构化数据处理包括去除重复、去除噪音、数据类型转换、缺失值处理等操作,文本数据预处理包括中文分词、转换文本和生成词项-矩阵等操作。最后,数据分析与文本挖掘。对结构化数据进行频数分析与交叉分析,了解数据的基本分布特征,分析变量之间关系,使用卡方检验进行假设验证。文本数据经过文本预处理后,实施关联分析与聚类分析,通过可视化技术展现词云图、词项网络图和聚类树状图,对结果进行概括总结。

关键词： R XPath 数据抓取 web数据挖掘文本挖掘文本可视化

来源：评论

学校读者我要写书评

暂无评论

贝叶斯网络在web数据挖掘中的研究及应用

贝叶斯网络在Web数据挖掘中的研究及应用

引用

作者：竹勇南昌航空大学

学位级别：硕士

随着Internet的迅猛发展，如何在web这个全球最大的数据集合中找到有价值的信息，并从中提取出知识内容已经成为目前数据挖掘、信息检索和知识管理等研究领域的重要课题。web挖掘是指对web文档的内容、web上可利用资源的使用情况以及资... 详细信息

随着Internet的迅猛发展，如何在web这个全球最大的数据集合中找到有价值的信息，并从中提取出知识内容已经成为目前数据挖掘、信息检索和知识管理等研究领域的重要课题。web挖掘是指对web文档的内容、web上可利用资源的使用情况以及资源之间的关系进行分析，从中发现有效的、新颖的、潜在有用的、并且最终可理解的模式。作为机器学习主要技术之一的贝叶斯网络表示了世界中客体间的因果联系与条件概率分布，其所蕴涵的不确定性知识及规则是进行不精确推理的主要工具。它的结构就蕴涵了规则，而伴随各节点的条件概率则表达了某种知识。贝叶斯网络在统计学、决策分析、人工智能等领域已有越来越多的应用。由于XML能够使不同来源的结构化的数据很容易地结合在一起，因此使搜索多样的不兼容数据库能够成为可能，从而为解决web数据挖掘难题带来了希望。本文以股票数据的抽取为例介绍了一种运用XML技术对web上数据抽取与存储的方法。该方法不需开发人员掌握属于特定系统的专门查询语言，对目标web页面的简单更改有一定的处理能力，而且对于不同页面的不同数据的抽取只需对XSL变换代码进行少许更改。在对贝叶斯统计方法、基于KL距离和相互信息方法、基于最小描述长度原理等评分函数方法进行详细的推导、分析后，本文提出了一种附加复杂度约束条件的最大信息熵评分函数，并设计了一种基于模拟退火的贝叶斯网络结构学习算法。通过此算法使用股票历史数据分析训练出网络的拓扑结构，并学习得到网络各节点的条件概率表，用得到的贝叶斯模型预测股票的价格走势及股票价格的浮动区间。

关键词： web数据挖掘贝叶斯网络知识管理机器学习人工智能 XML技术

来源：评论

学校读者我要写书评

暂无评论

基于XML的web数据挖掘研究

基于XML的Web数据挖掘研究

引用

作者：贺国锦北京理工大学

学位级别：硕士

该文研究和探讨了使用XML作为数据交换格式对web上的数据和web日志进行数据挖掘,从而发现关联规则.

关键词： web数据挖掘 XML 文本挖掘关系数据库模式访问日志

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的web数据挖掘

基于深度学习的Web数据挖掘

引用

作者：李骁上海交通大学

学位级别：硕士

web是当今世界上最大的公共数据来源,从海量异构、半结构化的web页面中提取有价值信息逐渐成为数据挖掘的重要任务。传统的基于机器学习的数据挖掘算法虽然已经取得一定效果,但是难以在现有基础上进一步提升,也不能解决更加复杂的文本... 详细信息

web是当今世界上最大的公共数据来源,从海量异构、半结构化的web页面中提取有价值信息逐渐成为数据挖掘的重要任务。传统的基于机器学习的数据挖掘算法虽然已经取得一定效果,但是难以在现有基础上进一步提升,也不能解决更加复杂的文本处理问题,因此,当前web数据挖掘研究的重心逐渐转向深度学习领域。本文的研究目标为从全球排名前100所英文母语授课高校的海量网页中提取任课教师的个人教育经历,在网络爬虫获取页面数据的基础上,使用先页面分类后信息提取的方法进行挖掘工作。页面分类阶段,提出基于多尺度卷积核的神经网络分类模型(CNN,Convolutional Neural Network)。信息提取阶段,使用分类后数据得到目标信息,提出字符-单词联合特征的双向GRU网络(Gated Recurrent Unit)和双向GRU网络结合CRF(Conditional Random Fields)的信息提取模型,此外,还提出将基于全文理解的问答系统引入信息提取任务中来。通过在多个数据集上,与多个当前被广泛使用的信息提取方法对比,以探索当前最优模型和未来的发展方向。本文研究发现,在页面分类问题上,本文提出的多尺度卷积核神经网络比传统的支持向量机准确率高2.77%,有明显提升;信息提取问题上,双向GRU+CRF的网络取得比传统的CRF和当前最被广泛使用的长短记忆网络更好的效果。本文的算法在实际挖掘任务中实用性较强,具有良好的应用场景。

关键词： web数据挖掘文本分类信息提取 GRU CNN

来源：评论

学校读者我要写书评

暂无评论

基于PageRank算法的web数据挖掘的研究

基于PageRank算法的Web数据挖掘的研究

引用

作者：郑普亨天津理工大学

学位级别：硕士

面对互联网中庞大的数据,怎样获取所需要的信息形成了研究所面对的一个难题。而web数据挖掘这门学科的泛起为这个难题提出了解决方法。web数据挖掘由web内容挖掘、web结构挖掘和web使用挖掘构成。web结构挖掘中主要有PageRank算法和HIT... 详细信息

面对互联网中庞大的数据,怎样获取所需要的信息形成了研究所面对的一个难题。而web数据挖掘这门学科的泛起为这个难题提出了解决方法。web数据挖掘由web内容挖掘、web结构挖掘和web使用挖掘构成。web结构挖掘中主要有PageRank算法和HITS算法。由于Page Rank算法相比于HITS算法的应用更为广泛,同时它的效率也优于HITS算法。所以本文通过对web结构挖掘中的PageRank算法的特征进行学习,提出了改进的方法,本文主要的贡献如下:(1)针对PageRank算法存在的平均分配PR值的问题。本文提出基于网页相似度的改良方法。将网页之间的指向关系作为一种链接向量,通过这种链接向量来表示某个网页。通过链接向量来表示网页之间的相似度。以当前网页和入链网页的相似度的大小来传递PR值,代替了原来PageRank算法的平均传递值的方法。对PageRank算法和改良的方法进行实验对比,改良后的算法在查准率上有所提高。(2)针对PageRank算法存在的主题漂移问题。本文提出基于主题相关性的改良方法。此改进方法的基本原理是:对一个关键字进行检索时,若检索系统可以在检索结果的排名中依据网页和客户要求的相关性的大小来排名,这么我们就认为这个检索系统的精确度是可以的。本文利用已经发展成熟的概率检索模型BM25F模型,利用此模型来获得网页与查询关键字之间的相关性。对PageRank算法,Top-Sensitive PageRank算法和改良后的算法进行实验对比,改良后的算法在网页质量的上有较大提升。(3)针对PageRank算法存在的偏重旧网页的问题。本文提出基于网页更新率的改良方法。传统的PageRank算法下只是考虑了网页之间的链接结构没有将时间因素作为一个评价标准,这样新的网页由于存在的时间短被其他网页所引用的概率就会大大降低,这对新网页是不利的。此改进方法是基于网页的变化是泊松过程,本文通过泊松分布的数据模型来计算网页的更新率。对PageRank算法和改良后的算法进行实验对比,改良后的算法对新网页的排名有所提升。

关键词： PageRank算法网页相似度主题相关性网页更新率 web数据挖掘

来源：评论

学校读者我要写书评

暂无评论

基于web数据挖掘的网页优化设计应用研究

基于Web数据挖掘的网页优化设计应用研究

引用

作者：黄欢电子科技大学

学位级别：硕士

近年来,随着Intemet在流量、规模和复杂度等方面的飞速增长,web已成为一个巨大的、分布广泛的、全球性的信息服务中心。在web给人们带来丰富信息和极大便利的同时,也随之产生了一些急需解决的问题,个性化的信息服务便是其中之一。直接... 详细信息

近年来,随着Intemet在流量、规模和复杂度等方面的飞速增长,web已成为一个巨大的、分布广泛的、全球性的信息服务中心。在web给人们带来丰富信息和极大便利的同时,也随之产生了一些急需解决的问题,个性化的信息服务便是其中之一。直接或间接的解决这个问题的途径之一就是将web日志挖掘技术应用在网站个性化服务中。通过对web日志数据挖掘,可以帮助我们更好地发现用户频繁访问路径和进行个性化页面推荐等,这对于为用户提供个性化服务是非常关键的。 WWW上数据资源的多样性增加了用户寻找有用的信息的难度,如何从海量信息中挖掘隐含的、用户感兴趣的模式是一个重要且有意义的问题。web日志挖掘就是通过使用数据挖掘技术将对用户和服务器之间在通信过程中产生的大量数据进行挖掘,以发现新颖的、有用的知识,可以得到用户访问页面时的频繁关系和行为模式,通过此可以发现用户的偏好和访问习惯,从而优化web站点功能及页面间的超链接结构,提高网站的服务质量并改善性能。通过对用户访问的行为分析,以向用户推荐能在最短时间内获取访问路径。首先根据建立的个性化网站模型,综合考虑用户访问网页的停留时间和存取次数,提出基于用户偏好的度量计算方法,其次在此基础上提出一种基于向量内积的web关联规则挖掘算法WARMVI,通过该算法找出与其关联度高的网页,推荐给用户,同时考虑了用户个人的兴趣,实验仿真中通过对用户访问模式的分析,给出网页推荐策略,使用户能提高访问效率。论文的研究工作包括以下几个方面: (1)深入研究了web挖掘的定义、基本原理、方法和分类,并从四个方面详述了web日志挖掘中的应用。 (2)分析了web日志挖掘的特点和难点,并对网站的个性化、单个用户访问模式和群体对页面的浏览模式行为进行了具体分析。 (3)描述了web日志挖掘的过程,分别分析了web日志数据预处理的四个阶段,并给出了相应的改进算法:基于纵横向缩减的数据清洗方法、面向IP地址的用户识别方法、基于时间阈值的会话识别方法和基于深度优先方法的事务识别,并给出了相应的改进算法。 (4)通过停留时间和存取次数来综合衡量用户对该网页的偏好程度,并建立了用户对网页的偏好程度模型,在此基础上提出了一种基于向量内积的web关联规则挖掘算法,该算法能有效地挖掘用户群的访问模式,具有较好的网页推荐效果,减少了搜索相关页面的时间。 (5)为验证web关联规则挖掘方法的正确性,设计了一个实验系统,包括web服务器、访问记录数据库、访问记录组成,系统应具备数据采集、数据预处理、模式挖掘、挖掘结果评价等功能。通过对web的挖掘,我们就可以从web页面中提取所需的知识,通过对用户访问行为、频度、内容的分析,获取关于用户访问行为的兴趣模式,用以改进web服务设计。

关键词： web数据挖掘数据预处理关联规则个性化推荐

来源：评论

学校读者我要写书评

暂无评论

基于XML的web数据挖掘技术的研究

基于XML的Web数据挖掘技术的研究

引用

作者：薛大伟哈尔滨工程大学

学位级别：硕士

随着Internet的飞速发展,互联网已成为信息传播与共享的重要资源。由于web数据半结构化、异构、海量等特点,使得传统的数据挖掘技术不能直接运用到web数据源上。web数据挖掘就是从各种格式的web文档或者web活动中抽取潜在的、有用的模... 详细信息

随着Internet的飞速发展,互联网已成为信息传播与共享的重要资源。由于web数据半结构化、异构、海量等特点,使得传统的数据挖掘技术不能直接运用到web数据源上。web数据挖掘就是从各种格式的web文档或者web活动中抽取潜在的、有用的模式。由于XML的结构化、可扩展性等优点,将XML与web数据挖掘结合起来进行研究也已经成为这个领域的热点。本文首先研究了web数据抽取技术,提出一种基于扩展DOM树的web数据抽取方法。在web页面的DOM树的节点中添加了页面的视觉特征元素和链接特征元素,然后进行节点重复度和新颖度的计算。通过计算多个相似页面之间子树的新颖度,可以自动学习和识别出对象数据并抽取出来,将抽取结果输出为XML文档。其次研究的是XML文档聚类,将XML文档的树形结构转化为一种层次结构,为处于不同层的元素赋予不同的权值。聚类算法计算XML文档与已存在类簇的层次相似度,将XML文档划分到层次相似度最大的聚类中。层次结构反映的是层与层之间的关系,简化了XML文档树形结构,使得计算相似度的时间消耗有所降低。最后,本文通过实验对算法进行验证,并对实验结果进行分析,论述了算法的优点和不足。

关键词： web数据挖掘 web数据抽取 XML文档聚类扩展DOM树层次相似度

来源：评论

学校读者我要写书评

暂无评论

XML与web数据挖掘

引用

商业研究 2005年第21期 206-208页

作者：谢兰云东北财经大学经济信息系辽宁大连116023

互联网时代,绝大多数信息都来自于Internet,数据挖掘的对象将更侧重于web数据挖掘,但是web页面上的信息并不适合进行数据挖掘。web数据挖掘存在的种种问题,而XML的出现为解决这些问题提供了契机。

关键词： web数据挖掘 XML 数据库

来源：评论

学校读者我要写书评

暂无评论

基于属性标签的web数据挖掘

引用

计算机应用与软件 2012年第11期29卷 156-159页

作者：黄亮赵泽茂梁兴开杭州电子科技大学通信工程学院浙江杭州310018

Div+CSS流行于web页面的布局,在这种布局下,网页中很多数据记录以重复结构的形式聚集在一个层级。提出一种基于属性标签的web数据提取的方法,构造带有属性标签的DOM树,通过比较属性标签的值挖掘重复模式,制定三个规则排除干扰模式,找到... 详细信息

Div+CSS流行于web页面的布局,在这种布局下,网页中很多数据记录以重复结构的形式聚集在一个层级。提出一种基于属性标签的web数据提取的方法,构造带有属性标签的DOM树,通过比较属性标签的值挖掘重复模式,制定三个规则排除干扰模式,找到数据域,进而从数据域中提取出数据记录。

关键词： web安全 web数据挖掘 HTML DOM 属性标签

来源：评论

学校读者我要写书评

暂无评论

基于XML的web数据挖掘模型的设计

引用

计算机工程与设计 2007年第2期28卷 272-274,277页

作者：周晓梅王潜平苏琳中国矿业大学计算机学院江苏徐州221008

目前很多网站都是用HTML构建的,要真正做到高效准确的挖掘数据非常困难,XML的出现为基于web的数据挖掘带来了便利。在研究web数据挖掘技术的基础上,利用XML数据抽取技术将半结构化数据映射为结构化数据,建立了一个具有基本挖掘功能的面... 详细信息

目前很多网站都是用HTML构建的,要真正做到高效准确的挖掘数据非常困难,XML的出现为基于web的数据挖掘带来了便利。在研究web数据挖掘技术的基础上,利用XML数据抽取技术将半结构化数据映射为结构化数据,建立了一个具有基本挖掘功能的面向多种web数据的挖掘系统模型web_mining。最后将Agent技术引入数据挖掘,提出了一种基于Agent技术的体系结构,用来实现大容量的数据在分布式存放情况下的数据挖掘,并对基于web的数据挖掘技术进行深入的研究和探讨。

关键词： web数据挖掘代理分布式数据挖掘挖掘模型

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：