检索结果-内蒙古大学图书馆

长春理工大学学报（自然科学版） 2017年第1期40卷 110-114页

作者：邱宁佳郭畅杨华民王鹏温暖长春理工大学计算机科学技术学院长春130022

采用一种属性约简算法,将待分类的数据样本进行两次约简处理--初次决策表属性约简和基于核属性值的二次约简。通过属性约简方法来删除数据集中的冗余数据,进而提高KNN算法的分类精度。在此基础上应用mapreduce并行编程模型,在Hadoop集... 详细信息

采用一种属性约简算法,将待分类的数据样本进行两次约简处理--初次决策表属性约简和基于核属性值的二次约简。通过属性约简方法来删除数据集中的冗余数据,进而提高KNN算法的分类精度。在此基础上应用mapreduce并行编程模型,在Hadoop集群环境上实现并行化分类计算实验。实验结果表明,改进后的算法在集群环境下执行的效率得到很大提升,能够高效处理实验数据。实验执行的加速比也有明显提高。

关键词： KNN 属性约简 mapreduce编程模型 Hadoop

来源：评论

学校读者我要写书评

暂无评论

mapreduce编程模型下的约束频繁模式挖掘算法

引用

小型微型计算机系统 2015年第10期36卷 2257-2261页

作者：闫晓妩张继福荀亚玲赵旭俊太原科技大学计算机科学与技术学院太原030024

约束频繁模式是利用用户给定的约束条件,生成的一种频繁模式,具有针对性强、挖掘效率高等特点.随着数据量的增大,约束频繁模式生成过程存在着占用内存大和I/O代价高等问题,难以适用于海量高维数据集.采用mapreduce编程模型,给出一种约... 详细信息

约束频繁模式是利用用户给定的约束条件,生成的一种频繁模式,具有针对性强、挖掘效率高等特点.随着数据量的增大,约束频繁模式生成过程存在着占用内存大和I/O代价高等问题,难以适用于海量高维数据集.采用mapreduce编程模型,给出一种约束频繁模式并行挖掘MCFP算法.该算法首先,采用三对Map和Reduce函数实现了将数据中事务映射为频繁项计数、构建约束频繁模式树和生成约束频繁模式,以及频繁模式聚合等主要步骤;其次,根据频繁项支持度,迁移数据记录,有效地实现了频繁模式生成过程中的负载均衡;最后,采用天体光谱数据,实验验证了该算法的有效性、可伸缩性和可扩展性.

关键词：约束频繁模式 mapreduce编程模型 CFP—Tree 支持度负载均衡

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce编程模型的节点失效处理与优化

引用

电脑编程技巧与维护 2015年第2期 77-78页

作者：黄敬良烟台汽车工程职业学院现代教育技术中心山东烟台265500

云计算环境下对mapreduce编程模型和节点失效问题进行深入研究和实践。提出了使用基于失效规律的节点资源动态提供策略的方式,来解决任务服务器上点失效之后所带来的系统不能正常提供服务的问题,以此提高整个系统的高可用性,同时使服务... 详细信息

云计算环境下对mapreduce编程模型和节点失效问题进行深入研究和实践。提出了使用基于失效规律的节点资源动态提供策略的方式,来解决任务服务器上点失效之后所带来的系统不能正常提供服务的问题,以此提高整个系统的高可用性,同时使服务器集群达到负载均衡的目的。进而实现基于mapreduce编程模型节点失效的优化。

关键词： mapreduce编程模型节点失效动态提供策略

来源：评论

学校读者我要写书评

暂无评论

基于GPU集群系统的mapreduce编程模型研究

基于GPU集群系统的MapReduce编程模型研究

引用

作者：郭钇汝山东大学

学位级别：硕士

我们生活在数据爆炸的时代,每时每刻都有着成千上万的数据产生,信息总量以几何级数的方式增长。但数据量的快速增长也同时给我们带来了很多困扰,如何能够快速高效的对这些数据进行分析和处理成为了一个急需解决的难题。mapreduce是一种... 详细信息

我们生活在数据爆炸的时代,每时每刻都有着成千上万的数据产生,信息总量以几何级数的方式增长。但数据量的快速增长也同时给我们带来了很多困扰,如何能够快速高效的对这些数据进行分析和处理成为了一个急需解决的难题。mapreduce是一种最先由Google公司提出来的可用于大数据处理的分布式并行编程模型,它通过把大数据集分发到集群中各个节点共同处理来实现数据的快速处理。因此,利用不同的并行结构来加速mapreduce计算成为了当前的研究热点。不同于CPU,图形处理单元GPU有着特殊的硬件结构,在处理能力和存储器带宽上相对CPU有着明显优势。同时,随着GPGPU计算技术的快速发展,利用GPU完成通用计算的研究渐渐活跃起来,越来越多的数据密集型的传统应用可以通过GPU来完成,并且可以获得几十倍甚至几百倍的性能提升。因此,利用GPU来加速mapreduce计算得到了广泛关注。然而之前那些基于GPU的mapreduce模型都有着自身的缺陷,它们大多只能以单节点单GPU或者单节点多GPU的方式运行,不能充分利用计算集群的优势去加速计算过程,而且所处理的数据量也十分有限。在本文中,我们通过CUDA和MPI技术实现了一个基于GPU集群系统并且支持大数据处理的mapreduce编程模型GCMR。在该模型中,我们通过一个双层并行机制(节点间并行和节点内并行)把mapreduce计算扩展到了GPU集群上,利用原子操作实现了一个GPU上的动态存储机制,并且通过一个多线程流水线机制优化了模型的整体性能。与之前的实现Mars相比,在处理小规模数据时,GCMR带来了单节点2.6倍到四个节点9.1倍的性能提升。而在GPU集群上处理大数据集时,则表现出了良好的扩展性。

关键词： mapreduce编程模型 GPU集群 CUDA 并行计算大数据处理

来源：评论

学校读者我要写书评

暂无评论

mapreduce编程模型去耦合优化研究

MapReduce编程模型去耦合优化研究

引用

作者：张杰中国科学院研究生院

学位级别：硕士

随着“大数据”时代的到来,分布式数据处理平台受到越来越广泛的关注,其中Google提出的mapreduce编程模型成为了以数据为中心的大规模数据处理平台的主流实现。在mapreduce编程模型的Shuffle过程中,Map和Reduce之间的中间数据是通过Pul... 详细信息

随着“大数据”时代的到来,分布式数据处理平台受到越来越广泛的关注,其中Google提出的mapreduce编程模型成为了以数据为中心的大规模数据处理平台的主流实现。在mapreduce编程模型的Shuffle过程中,Map和Reduce之间的中间数据是通过Pull的方式传输,只有当有Map task完成时,Reduce task才能传输数据,当:Map task全部完成时,Reduce task获取所有数据后才能开始计算。因此Reduce task的执行依赖于Map task的状态。这种Reduce对Map的依赖造成Map和Reduce阶段间的耦合关系,会引发Reduce Slot Hoarding和网络负载不均衡的问题,影响资源使用率和作业执行效率,导致作业Wall Time延长,降低系统吞吐率。\n 改进mapreduce编程模型中Shuffle过程的相关工作有很多,如Pipeline技术、Copy-compute Splitting技术等,但是这些方案都是只能缓解或解决部分问题,不能从根本上同时解决这两个问题。基于大规模数据处理的重要性以及目前mapreduce编程模型中耦合关系带来的问题和现有解决方案的不完善性,本文提出对mapreduce编程模型进行去耦合优化研究,构建一个无耦合的中间数据传输模型来替代原有Shuffle过程,解决Reduce Slot Hoarding和网络负载不均衡的问题。对mapreduce编程模型进行去耦合优化有两个必要条件:在作业的所有Map task完成之前,不得调度Reduce task;在作业Map阶段完成中间数据传输,将网络负载分散到Map和Reduce两个阶段,均衡网络负载。为了达到这两个目标,本文提出三项关键技术:(1)权重映射技术,建立Reduce task和节点间的映射关系,在Reduce task启动前确定其执行的节点;(2)数据自推送技术,在各个节点上创建Server。Map task完成数据处理后以自己为Client,采用Push的方式将中间数据推送到Reduce task映射节点的Server上,Server负责接受、存储和管理中间数据;(3)部分数据备份技术,通过备份部分数据来保证mapreduce编程模型的容错性。本文基于这三项关键技术来构建无耦合中间数据传输模型,并将模型分成三个组成模块,控制模块、数据传输模块和容错模块。其中控制模块负责任务映射、任务调度以及各个模块间的协同工作。数据传输模块负责中间数据的传输、存储和管理。容错模块负责在节点异常时自动进行出错恢复,以最小代价完成作业恢复工作。\n 本文将无耦合中间数据传输模型应用到开源的mapreduce框架Hadoop上,并对无耦合中间数据传输模型进行功能和性能测试。测试表明无耦合中间数据传输模型成功解决Reduce Slot Hoarding和网络负载不均衡的问题,达到去耦合优化的目标。并且提高系统吞吐率33.10%,系统的加权加速比达到48.56%。

关键词： mapreduce编程模型中间数据传输去耦合优化网络负载

来源：评论

学校读者我要写书评

暂无评论

面向大数据的数据库划分FP-Growth改进算法

引用

南昌大学学报（理科版） 2022年第5期46卷 570-576页

作者：张乐魏昕怡徐苏林两位南昌大学数学与计算机学院江西南昌330031 南昌大学际銮书院江西南昌330031 数字福建气象大数据研究所(闽南师范大学) 福建漳州363000

提出了一种基于Hadoop架构和mapreduce编程模型实现的面向大数据的FP-Growth频繁项集挖掘的改进算法。首先将事务数据库按每个频繁1项进行抽取,生成对应的投影数据库,并将这些投影数据库分发到一个个节点机上;再由节点机对投影数据库进... 详细信息

提出了一种基于Hadoop架构和mapreduce编程模型实现的面向大数据的FP-Growth频繁项集挖掘的改进算法。首先将事务数据库按每个频繁1项进行抽取,生成对应的投影数据库,并将这些投影数据库分发到一个个节点机上;再由节点机对投影数据库进行划分,生成一个个规模更小的子数据库,并由节点机使用改进后的算法并行挖掘生成部分频繁项集;最后归并所有部分频繁项集得到全部的频繁项集。该算法无需像传统的FP-Growth算法一样为事务数据库生成庞大的FP树,有效解决了传统FP-Growth算法及其一些改进算法中因单机内存存储不下庞大的FP树而导致算法失效的问题。同时,由于所划分的子数据库规模接近,分发到各节点机上的负载更均衡,使得算法效率更高。

关键词：频繁项集 FP-growth 大数据 mapreduce编程模型

来源：评论

学校读者我要写书评

暂无评论

Hadoop环境下基于并行熵的FIUT算法挖掘

引用

计算机工程与设计 2019年第3期40卷 685-690,787页

作者：晏依徐苏南昌大学信息工程学院江西南昌330031

针对传统频繁项集挖掘算法效率低下的问题,提出基于Hadoop平台的并行BMR-FIUT算法。通过引入FIU-Tree(frequent items ultrametric tree)结构挖掘频繁项集,避免传统算法的缺陷;改进FIUT算法的分解过程,使之适应于Map-Reduce框架下的并... 详细信息

针对传统频繁项集挖掘算法效率低下的问题,提出基于Hadoop平台的并行BMR-FIUT算法。通过引入FIU-Tree(frequent items ultrametric tree)结构挖掘频繁项集,避免传统算法的缺陷;改进FIUT算法的分解过程,使之适应于Map-Reduce框架下的并行计算,达到并行化的目的;利用并行熵作为集群系统的负载均衡度量,使系统尽可能在各节点间合理分发数据以平衡负载。实验结果表明,BMR-FIUT算法能够有效减少并行化过程中节点负载倾斜的问题,较现有的PFP-Growth算法具有更好的性能,适用于海量数据挖掘。

关键词：数据挖掘频繁项集 mapreduce编程模型 FIUT算法并行熵负载均衡

来源：评论

学校读者我要写书评

暂无评论

Hadoop下基于CA-Markov模型的土地利用变化预测方法研究

Hadoop下基于CA-Markov模型的土地利用变化预测方法研究

引用

作者：李爽江西理工大学

学位级别：硕士

研究不同时空下的土地利用/土地覆被状况,预测未来土地利用变化,可为土地资源合理分配提供参考。土地利用变化预测面对的数据种类较多,有遥感影像、DEM影像、各类驱动因子数据等,其中遥感影像数据已成为一种海量数据。大规模数据下传统... 详细信息

研究不同时空下的土地利用/土地覆被状况,预测未来土地利用变化,可为土地资源合理分配提供参考。土地利用变化预测面对的数据种类较多,有遥感影像、DEM影像、各类驱动因子数据等,其中遥感影像数据已成为一种海量数据。大规模数据下传统串行的基于CA-Markov模型的土地利用变化预测算法运行时间较长,而Hadoop云计算平台在大数据处理方面具有性能与成本优势。因此,论文以杭州市为例,围绕Hadoop下基于CAMarkov模型的土地利用变化预测算法(CLOUD-LUCP)的设计展开了如下工作:(1)研究依据CLOUD-LUCP算法所需的土地利用分类影像、驱动因子等数据的数据结构与算法的运算方式,设计算法输入数据在HDFS中的组织与存储方法,以便基于mapreduce编程模型开发的CLOUD-LUCP算法能够获取并解析数据。(2)研究基于mapreduce编程模型对传统CA-Markov模型串行预测算法进行分布式并行化设计,得到了CLOUD-LUCP算法,算法分为云环境下Markov模型并行算法与云环境下土地利用变化综合评价算法两部分。CLOUD-LUCP算法用以计算土地利用面积转移矩阵、转移概率矩阵、元胞土地利用综合评价值,再依据以上数据进行元胞状态转换方向确定,从而实现土地利用变化预测。(3)对比不同数据量下CLOUD-LUCP预测算法与串行预测算法运行效率。实验结果表明,在本文所采用的集群环境与测试数据集下,云环境下Markov模型并行算法与云环境下土地利用变化综合评价算法的加速比与节省的运算耗时随数据量增大而提高,两部分算法加速比分别于3.43和1.86时达到最高。(4)研究对2013年的土地利用变化进行了模拟,并对模拟结果进行分析与精度评价。模拟结果的自然保留地、建设用地、农用地Kappa系数分别可达0.86,0.68和0.66,表明研究区模拟结果可信,可在此基础上对2020年土地利用变化进行预测与结果分析。研究结果表明,CLOUD-LUCP算法与传统串行预测算法相比,在大规模数据下具有一定的效率优势。同时,模拟结果可信度较高,算法采用的驱动因子及权重参数适用于研究区,可用于研究区的土地利用变化预测。

关键词：云计算 Hadoop云平台 mapreduce编程模型 CA-Markov模型土地利用变化预测

来源：评论

学校读者我要写书评

暂无评论

基于改进mapreduce模型的BP神经网络并行化研究

引用

通信技术 2018年第4期51卷 799-804页

作者：李楠于孟渤贾珍珍王一惠李昕宸邹淑雪吉林大学计算机科学与技术学院吉林长春130012

为了提高BP神经网络算法并行化速率,利用神经网络并行化思想,提出了一种基于Hadoop平台的改进Map Reduce编程模型及并行化的实现。采用Map Reduce编程模型,用神经网络训练集的一组样本的键/值替代单一键/值,通过分组标记将同一value值... 详细信息

为了提高BP神经网络算法并行化速率,利用神经网络并行化思想,提出了一种基于Hadoop平台的改进Map Reduce编程模型及并行化的实现。采用Map Reduce编程模型,用神经网络训练集的一组样本的键/值替代单一键/值,通过分组标记将同一value值对应的reduce工作方式分散为多个reduce进行工作,实现各个任务节点并行处理大数据,从而减少了处理大规模数据集的运行时间。选用不同大小数据集进行测试,通过与传统的神经网络并行化进行对比,发现改进后的Map Reduce并行编程模型提高了神经网络的并行速率,在处理大数据集时具有一定的优越性。

关键词： BP神经网络 mapreduce编程模型 mapreduce改进模型大数据集

来源：评论

学校读者我要写书评

暂无评论

集群环境下企业应用系统的关联规则算法研究

引用

山西大同大学学报（自然科学版） 2018年第6期34卷 31-33,81页

作者：赵向兵张景安山西大同大学计算机与网络工程学院山西大同037009

大数据在各个领域的快速发展,推动着企业不断地发展新业务和创造新的发展模式,企业大数据的应用和挖掘,成为企业提高竞争力的关键因素之一。关联规则作为数据挖掘研究的主要领域,频繁模式的发现是提高关联规则挖掘效率的关键,随着数据... 详细信息

大数据在各个领域的快速发展,推动着企业不断地发展新业务和创造新的发展模式,企业大数据的应用和挖掘,成为企业提高竞争力的关键因素之一。关联规则作为数据挖掘研究的主要领域,频繁模式的发现是提高关联规则挖掘效率的关键,随着数据量的不断增加,频繁模式发现过程存在I/O代价大和内存占有高等不足,本算法对数据集中事务项,采用mapreduce分布式编程模型,用两对Map和Reduce函数,实现了支持度计数和频繁项集生成,最终生成关联规则。最后,采用企业信息化调研数据,实验验证了该算法的可拓展性和可收缩性。

关键词：关联规则频繁模式 mapreduce编程模型企业大数据挖掘

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：