检索结果-内蒙古大学图书馆

计算机科学 2003年第8期30卷 114-116页

作者：李庆华赵峰国家高性能计算中心武汉430074 华中科技大学计算机科学与技术学院武汉430074

Ming sequential associations is becoming increasing essential in many scientific and commercial *** parallel algorithm becomes quite challenging depending on enormous size of available dataset and possiblylarge number of mined associations ,the nature of input data and the timing constraints imposed on the desired associa-tions. In this paper ,we discuss several different parallel algorithms that cater to various situations to speed up thecurrent mining process.

关键词：数据仓库序列关联并行挖掘算法数据挖掘数据集数据库

来源：评论

学校读者我要写书评

暂无评论

基于MapReduce的健康大数据并行挖掘算法研究

引用

现代电子技术 2023年第12期46卷 79-83页

作者：陈榆何慧敏梁志胜欧旭广西医科大学信息中心广西南宁530021

随着信息技术的发展,健康大数据呈指数级别剧增,但数据量过大使得较多有价值的数据被埋没,医疗服务的质量与效率难以提升。为解决上述问题,文中提出一种基于MapReduce的健康大数据并行挖掘算法。首先对健康大数据进行预处理,消除一些不... 详细信息

随着信息技术的发展,健康大数据呈指数级别剧增,但数据量过大使得较多有价值的数据被埋没,医疗服务的质量与效率难以提升。为解决上述问题,文中提出一种基于MapReduce的健康大数据并行挖掘算法。首先对健康大数据进行预处理,消除一些不利因素对数据的影响;再以预处理后的健康大数据为依据,获取初始簇中心,度量健康大数据与簇中心之间的距离,聚类处理健康大数据;最后,应用MapReduce制定健康大数据并行挖掘程序,执行制定程序即可完成健康大数据的并行挖掘。实验结果表明,所提算法的健康大数据挖掘效率最大值为94 GB/s,加速比最大值为4.5,相比于其他方法,该算法对健康大数据挖掘的性能更佳。

关键词：健康大数据并行挖掘算法 MapReduce 数据预处理数据聚类挖掘程序

来源：评论

学校读者我要写书评

暂无评论

并行挖掘频繁项目集新算法——MREclat

引用

计算机应用 2014年第8期34卷 2175-2178页

作者：章志刚吉根林唐梦梦南京师范大学计算机科学与技术学院南京210023

针对Eclat算法在挖掘海量数据中的频繁项目集时存在的内存和计算资源不足等问题,提出了基于Map/Reduce计算模型的并行挖掘算法——MREclat。首先,将水平型数据库转换成垂直型数据库;然后,将转换后的数据按2-项集的前缀分发到各个计算节... 详细信息

针对Eclat算法在挖掘海量数据中的频繁项目集时存在的内存和计算资源不足等问题,提出了基于Map/Reduce计算模型的并行挖掘算法——MREclat。首先,将水平型数据库转换成垂直型数据库;然后,将转换后的数据按2-项集的前缀分发到各个计算节点上,且在分发数据时引入了均衡策略;接着,在各个计算节点上求出以某一前缀开头的所有频繁项目集;最后,合并各个节点的结果得到所有频繁项目集。介绍了MREclat的设计思想,研究了算法的运行性能。实验结果表明,MREclat算法效率大约是PEclat算法的2倍,加速比性能比PEclat算法提高了64%。

关键词：频繁项目集并行挖掘算法列存储 Map Reduce Eclat算法

来源：评论

学校读者我要写书评

暂无评论

一种基于后缀项表的并行闭频繁项集挖掘算法

引用

计算机应用研究 2014年第2期31卷 373-377页

作者：唐颖峰陈世平上海理工大学管理学院上海200093 上海对外经贸大学教务处上海201620

对现有的基于MapReduce的并行频繁项集挖掘算法进行了研究,提出一种基于后缀项表的并行闭频繁项集挖掘算法,通过后缀项表的引入及以闭频繁项集挖掘的形式,减少组分间的数据传送量,提高挖掘效率。实验表明,该算法可以有效缩短平均挖掘时... 详细信息

对现有的基于MapReduce的并行频繁项集挖掘算法进行了研究,提出一种基于后缀项表的并行闭频繁项集挖掘算法,通过后缀项表的引入及以闭频繁项集挖掘的形式,减少组分间的数据传送量,提高挖掘效率。实验表明,该算法可以有效缩短平均挖掘时间,对于高维大数据具有较好的性能。

关键词：频繁项集挖掘并行挖掘算法 MapReduce 闭频繁项集后缀项表

来源：评论

学校读者我要写书评

暂无评论

基于等价类划分的并行频繁闭项集挖掘算法

引用

信阳师范学院学报（自然科学版） 2017年第3期30卷 454-459页

作者：秦东霞齐迎春王伟周口师范学院网络工程学院河南周口466001 中国科学院自动化研究所北京100190

针对海量数据的关联规则挖掘问题,提出了一种有效的基于等价类划分的并行频繁闭项集挖掘算法.该算法在MapReduce框架下,通过等价类的产生与划分、数据集的分配、异步频繁闭项集挖掘和汇总等步骤,不但较好地解决了多节点间的负载均衡问题... 详细信息

针对海量数据的关联规则挖掘问题,提出了一种有效的基于等价类划分的并行频繁闭项集挖掘算法.该算法在MapReduce框架下,通过等价类的产生与划分、数据集的分配、异步频繁闭项集挖掘和汇总等步骤,不但较好地解决了多节点间的负载均衡问题,而且易于获得可靠的频繁闭项集.实验表明,该算法能有效克服传统算法挖掘效率低、冗余规则较多的缺点,整体上具有较高的性能.

关键词： MapReduce 并行挖掘算法频繁闭项集等价类划分

来源：评论

学校读者我要写书评

暂无评论

分布式计算在大数据分析中的应用与挑战研究

引用

电脑知识与技术 2025年第8期21卷 74-76页

作者：隗泽凯李白玉青岛工学院山东青岛266000

该研究探讨分布式计算在大数据分析中的应用。通过构建分布式计算集群,采用Hadoop和Spark框架对大规模数据进行处理,提出基于Spark的并行挖掘算法,并通过实验验证其正确性和可靠性。结果表明,该算法在扩展性与容错性上表现良好,为数据... 详细信息

该研究探讨分布式计算在大数据分析中的应用。通过构建分布式计算集群,采用Hadoop和Spark框架对大规模数据进行处理,提出基于Spark的并行挖掘算法,并通过实验验证其正确性和可靠性。结果表明,该算法在扩展性与容错性上表现良好,为数据挖掘和机器学习提供了新机遇。

关键词：分布式计算大数据分析 Hadoop平台并行挖掘算法容错性

来源：评论

学校读者我要写书评

暂无评论

海量数据挖掘算法的研究

海量数据挖掘算法的研究

引用

作者：张兆功哈尔滨工业大学

学位级别：博士

并行海量数据挖掘技术利用并行计算(Parallel Computing)技术,针对海量数据特点,研究数据挖掘的新理论和新方法.关联规则、分类、聚类、相似性搜索和时间序列模式是挖掘算法的研究核心.为此我们以抽样方法和并行技术为重点,研究了关联... 详细信息

并行海量数据挖掘技术利用并行计算(Parallel Computing)技术,针对海量数据特点,研究数据挖掘的新理论和新方法.关联规则、分类、聚类、相似性搜索和时间序列模式是挖掘算法的研究核心.为此我们以抽样方法和并行技术为重点,研究了关联规则、相似性搜索、分类、聚类和时间序列模式的串行抽样挖掘算法和并行挖掘算法.研究工作的创新之处主要表现在如下五个方面:(1)针对已有关联规则算法存在多遍扫描数据库的缺点,我们提出了一个至多扫描数据库两遍的新抽样算法,还提出了相对支持度概念和叠加原理.(2)提出了用于相似性搜索的两个新的索引结构:rgh-tree和pgh-tree.(3)针对已有聚类算法出现的各种问题,该文提出了一个新的聚类模型和算法.(4)由于决策树分类模型建立过程的计算时间主要消耗在最优分割点的选取上,传统方法需要对全体数据的所有可能的分割点逐个计算,计算量很大.该文采用了两次抽样的方法,首先对数据集合进行抽样,选取一部分数据用于建立初步模型.其次对分割点进行抽样,可以有效的减小分割点选取的计算量.(5)提出了一个用于时间序列分析上的新的概念—波动率,它是一个相似变换下的不变量,它不同于传统的时间序列相似性度量—欧几里得距离.它基于波动率进行相似性比较,同人的直觉相一致,在4种相似性变换下该度量保持不变.提出了一个计算和标记这种不变量的方法,我们的实验结果表明基于波动率的时间序列相似性分析精度更高.该文利用抽样方法和并行计算技术对海量数据情况下的数据挖掘问题进行了探索,部分解决了海量数据情况下的数据挖掘问题.

关键词：数据挖掘挖掘算法并行挖掘算法海量数据数据挖掘系统

来源：评论

学校读者我要写书评

暂无评论

云计算环境下频繁项目集挖掘算法研究

云计算环境下频繁项目集挖掘算法研究

引用

作者：章志刚南京师范大学

学位级别：硕士

频繁项目集挖掘是数据挖掘研究中的基础研究内容。它在电子商务、网页查询分析、网络入侵检测和疾病诊断等领域有着广泛的应用。随着信息社会的不断发展,尤其是互联网领域的蓬勃发展,人类社会产生的数据呈爆炸式的增长,“大数据”研究... 详细信息

频繁项目集挖掘是数据挖掘研究中的基础研究内容。它在电子商务、网页查询分析、网络入侵检测和疾病诊断等领域有着广泛的应用。随着信息社会的不断发展,尤其是互联网领域的蓬勃发展,人类社会产生的数据呈爆炸式的增长,“大数据”研究应运而生。如何有效地存储和处理日益增长的数据成为目前亟待解决的问题。云计算的提出为“大数据”的存储、挖掘等问题提供了解决方案。本文对云计算环境下频繁项目集挖掘算法并行化作了较深入的研究,取得了如下成果： 1.提出了两种基于Apriori的迭代式Map/Reduce频繁项目集并行挖掘算法MRApriori和TRMRApriori。MRApriori算法在每次迭代中,先在各计算节点使用Apriori算法计算出候选的k-项集,然后对各个节点的候选结果进行合并,以得到频繁的k-项集。为了提高MRApriori的算法效率,提出了基于事务约减的改进算法TRMRApriori。TRMRApriori算法通过记录每次迭代中对下一次迭代中有影响的事务号,大大减少了事务的访问量。实验结果表明TRMRApriori算法比相关文献提出的方法具有更高的效率。 2.提出了一种基于FP-Growth的频繁项目集并行挖掘算法FPPM。FPPM算法先在每个计算节点上构造局部频繁模式树,并对之进行挖掘得到局部频繁项目集,接着合并局部频繁项目集以得到全局频繁项集,由于此时得到的结果并不完备,所以对合并后未达到最小支持度阈值的项目集,重新计算其支持度。实验结果表明FPPM算法具有较好的可扩展性,且能较好的解决相关文献算法网络通信量过大的问题。 3.提出了一种基于FP-Growth的频繁项目集并行挖掘算法SBPFP。该算法对样本数据计算出每个项目对应的子频繁模式树的挖掘时间,并以该时间为权重的度量因子。接着按权重将项目进行分组,然后将数据均衡划分到其所对应的计算节点上。最后在计算节点上获得该组项目所对应的频繁项目集。实验结果表明SBPFP算法具有较好的运行效率和可扩展性,同时该算法的运行负载性能比相关文献提出的算法更加均衡。 4.提出了一种基于Eclat的频繁项目集并行挖掘算法MREclat。MREclat首先将水平型数据库转换成垂直型数据库,然后将转换后的数据分发到各个计算节点上进行求解,在分发数据时引入了均衡策略使得负载达到平衡。实验结果表明MREclat具有较高的可扩展性和较好的加速比,且比相关文献提出的算法效率更高。

关键词：频繁项目集并行挖掘算法数据挖掘 Map/Reduce 云计算

来源：评论

学校读者我要写书评

暂无评论

联机增量数据挖掘研究

联机增量数据挖掘研究

引用

作者：徐雄南京邮电学院

学位级别：硕士

该文是一篇关于联机数据挖掘系统、体系结构及实现的文章.文章首先总结了现有数据挖掘系统即传统数据挖掘系统的各个方向的发展现状,其中包括体系结构,算法、计算技术以及数据挖掘的标准化工作等;继而在研究相关文献的基础上提出了在联... 详细信息

该文是一篇关于联机数据挖掘系统、体系结构及实现的文章.文章首先总结了现有数据挖掘系统即传统数据挖掘系统的各个方向的发展现状,其中包括体系结构,算法、计算技术以及数据挖掘的标准化工作等;继而在研究相关文献的基础上提出了在联机数据库系统中进行实时数据挖掘的体系结构,新的系统突破了传统的在数据仓库系统中进行全局数据挖掘的一贯做法,使得构建数据挖掘系统的代价大为减小;通过引入分布式网络计算模式,使得从操作型原始数据到发现数据模式的过程非常紧凑;同时研究了联机数据挖掘系统中的并行.挖掘算法和增量挖掘算法,使得发现数据模式的效率大为提高,实现了实时数据挖掘的概念.

关键词：数据挖掘数据仓库联机分析知识发现并行挖掘算法增量挖掘算法

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：