检索结果-内蒙古大学图书馆

小型微型计算机系统 2015年第10期36卷 2257-2261页

作者：闫晓妩张继福荀亚玲赵旭俊太原科技大学计算机科学与技术学院太原030024

约束频繁模式是利用用户给定的约束条件,生成的一种频繁模式,具有针对性强、挖掘效率高等特点.随着数据量的增大,约束频繁模式生成过程存在着占用内存大和I/O代价高等问题,难以适用于海量高维数据集.采用mapreduce编程模型,给出一种约... 详细信息

约束频繁模式是利用用户给定的约束条件,生成的一种频繁模式,具有针对性强、挖掘效率高等特点.随着数据量的增大,约束频繁模式生成过程存在着占用内存大和I/O代价高等问题,难以适用于海量高维数据集.采用mapreduce编程模型,给出一种约束频繁模式并行挖掘MCFP算法.该算法首先,采用三对Map和Reduce函数实现了将数据中事务映射为频繁项计数、构建约束频繁模式树和生成约束频繁模式,以及频繁模式聚合等主要步骤;其次,根据频繁项支持度,迁移数据记录,有效地实现了频繁模式生成过程中的负载均衡;最后,采用天体光谱数据,实验验证了该算法的有效性、可伸缩性和可扩展性.

关键词：约束频繁模式 mapreduce编程模型 CFP—Tree 支持度负载均衡

来源：评论

学校读者我要写书评

暂无评论

mapreduce编程模型去耦合优化研究

MapReduce编程模型去耦合优化研究

引用

作者：张杰中国科学院研究生院

学位级别：硕士

随着“大数据”时代的到来,分布式数据处理平台受到越来越广泛的关注,其中Google提出的mapreduce编程模型成为了以数据为中心的大规模数据处理平台的主流实现。在mapreduce编程模型的Shuffle过程中,Map和Reduce之间的中间数据是通过Pul... 详细信息

随着“大数据”时代的到来,分布式数据处理平台受到越来越广泛的关注,其中Google提出的mapreduce编程模型成为了以数据为中心的大规模数据处理平台的主流实现。在mapreduce编程模型的Shuffle过程中,Map和Reduce之间的中间数据是通过Pull的方式传输,只有当有Map task完成时,Reduce task才能传输数据,当:Map task全部完成时,Reduce task获取所有数据后才能开始计算。因此Reduce task的执行依赖于Map task的状态。这种Reduce对Map的依赖造成Map和Reduce阶段间的耦合关系,会引发Reduce Slot Hoarding和网络负载不均衡的问题,影响资源使用率和作业执行效率,导致作业Wall Time延长,降低系统吞吐率。\n 改进mapreduce编程模型中Shuffle过程的相关工作有很多,如Pipeline技术、Copy-compute Splitting技术等,但是这些方案都是只能缓解或解决部分问题,不能从根本上同时解决这两个问题。基于大规模数据处理的重要性以及目前mapreduce编程模型中耦合关系带来的问题和现有解决方案的不完善性,本文提出对mapreduce编程模型进行去耦合优化研究,构建一个无耦合的中间数据传输模型来替代原有Shuffle过程,解决Reduce Slot Hoarding和网络负载不均衡的问题。对mapreduce编程模型进行去耦合优化有两个必要条件:在作业的所有Map task完成之前,不得调度Reduce task;在作业Map阶段完成中间数据传输,将网络负载分散到Map和Reduce两个阶段,均衡网络负载。为了达到这两个目标,本文提出三项关键技术:(1)权重映射技术,建立Reduce task和节点间的映射关系,在Reduce task启动前确定其执行的节点;(2)数据自推送技术,在各个节点上创建Server。Map task完成数据处理后以自己为Client,采用Push的方式将中间数据推送到Reduce task映射节点的Server上,Server负责接受、存储和管理中间数据;(3)部分数据备份技术,通过备份部分数据来保证mapreduce编程模型的容错性。本文基于这三项关键技术来构建无耦合中间数据传输模型,并将模型分成三个组成模块,控制模块、数据传输模块和容错模块。其中控制模块负责任务映射、任务调度以及各个模块间的协同工作。数据传输模块负责中间数据的传输、存储和管理。容错模块负责在节点异常时自动进行出错恢复,以最小代价完成作业恢复工作。\n 本文将无耦合中间数据传输模型应用到开源的mapreduce框架Hadoop上,并对无耦合中间数据传输模型进行功能和性能测试。测试表明无耦合中间数据传输模型成功解决Reduce Slot Hoarding和网络负载不均衡的问题,达到去耦合优化的目标。并且提高系统吞吐率33.10%,系统的加权加速比达到48.56%。

关键词： mapreduce编程模型中间数据传输去耦合优化网络负载

来源：评论

学校读者我要写书评

暂无评论

基于GPU集群系统的mapreduce编程模型研究

基于GPU集群系统的MapReduce编程模型研究

引用

作者：郭钇汝山东大学

学位级别：硕士

我们生活在数据爆炸的时代,每时每刻都有着成千上万的数据产生,信息总量以几何级数的方式增长。但数据量的快速增长也同时给我们带来了很多困扰,如何能够快速高效的对这些数据进行分析和处理成为了一个急需解决的难题。mapreduce是一种... 详细信息

我们生活在数据爆炸的时代,每时每刻都有着成千上万的数据产生,信息总量以几何级数的方式增长。但数据量的快速增长也同时给我们带来了很多困扰,如何能够快速高效的对这些数据进行分析和处理成为了一个急需解决的难题。mapreduce是一种最先由Google公司提出来的可用于大数据处理的分布式并行编程模型,它通过把大数据集分发到集群中各个节点共同处理来实现数据的快速处理。因此,利用不同的并行结构来加速mapreduce计算成为了当前的研究热点。不同于CPU,图形处理单元GPU有着特殊的硬件结构,在处理能力和存储器带宽上相对CPU有着明显优势。同时,随着GPGPU计算技术的快速发展,利用GPU完成通用计算的研究渐渐活跃起来,越来越多的数据密集型的传统应用可以通过GPU来完成,并且可以获得几十倍甚至几百倍的性能提升。因此,利用GPU来加速mapreduce计算得到了广泛关注。然而之前那些基于GPU的mapreduce模型都有着自身的缺陷,它们大多只能以单节点单GPU或者单节点多GPU的方式运行,不能充分利用计算集群的优势去加速计算过程,而且所处理的数据量也十分有限。在本文中,我们通过CUDA和MPI技术实现了一个基于GPU集群系统并且支持大数据处理的mapreduce编程模型GCMR。在该模型中,我们通过一个双层并行机制(节点间并行和节点内并行)把mapreduce计算扩展到了GPU集群上,利用原子操作实现了一个GPU上的动态存储机制,并且通过一个多线程流水线机制优化了模型的整体性能。与之前的实现Mars相比,在处理小规模数据时,GCMR带来了单节点2.6倍到四个节点9.1倍的性能提升。而在GPU集群上处理大数据集时,则表现出了良好的扩展性。

关键词： mapreduce编程模型 GPU集群 CUDA 并行计算大数据处理

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce编程模型的改进KNN分类算法研究

引用

长春理工大学学报（自然科学版） 2017年第1期40卷 110-114页

作者：邱宁佳郭畅杨华民王鹏温暖长春理工大学计算机科学技术学院长春130022

采用一种属性约简算法,将待分类的数据样本进行两次约简处理--初次决策表属性约简和基于核属性值的二次约简。通过属性约简方法来删除数据集中的冗余数据,进而提高KNN算法的分类精度。在此基础上应用mapreduce并行编程模型,在Hadoop集... 详细信息

采用一种属性约简算法,将待分类的数据样本进行两次约简处理--初次决策表属性约简和基于核属性值的二次约简。通过属性约简方法来删除数据集中的冗余数据,进而提高KNN算法的分类精度。在此基础上应用mapreduce并行编程模型,在Hadoop集群环境上实现并行化分类计算实验。实验结果表明,改进后的算法在集群环境下执行的效率得到很大提升,能够高效处理实验数据。实验执行的加速比也有明显提高。

关键词： KNN 属性约简 mapreduce编程模型 Hadoop

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce编程模型的节点失效处理与优化

引用

电脑编程技巧与维护 2015年第2期 77-78页

作者：黄敬良烟台汽车工程职业学院现代教育技术中心山东烟台265500

云计算环境下对mapreduce编程模型和节点失效问题进行深入研究和实践。提出了使用基于失效规律的节点资源动态提供策略的方式,来解决任务服务器上点失效之后所带来的系统不能正常提供服务的问题,以此提高整个系统的高可用性,同时使服务... 详细信息

云计算环境下对mapreduce编程模型和节点失效问题进行深入研究和实践。提出了使用基于失效规律的节点资源动态提供策略的方式,来解决任务服务器上点失效之后所带来的系统不能正常提供服务的问题,以此提高整个系统的高可用性,同时使服务器集群达到负载均衡的目的。进而实现基于mapreduce编程模型节点失效的优化。

关键词： mapreduce编程模型节点失效动态提供策略

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的相似自连接新方法:过滤和内切圆算法

引用

计算机研究与发展 2016年第12期53卷 2847-2857页

作者：鲍广慧张兆功李建中玄萍黑龙江大学计算机科学与技术学院哈尔滨150080 哈尔滨工业大学计算机科学与技术学院哈尔滨150001

相似自连接是一个在很多应用领域中很重要的问题.对于海量数据集,mapreduce可以提供一个有效的分布式计算框架,相似自连接操作也同样可以应用在mapreduce框架下.但已有研究工作仍然存在不足,如对于聚集数据区域采用加细划分方法,目的是... 详细信息

相似自连接是一个在很多应用领域中很重要的问题.对于海量数据集,mapreduce可以提供一个有效的分布式计算框架,相似自连接操作也同样可以应用在mapreduce框架下.但已有研究工作仍然存在不足,如对于聚集数据区域采用加细划分方法,目的是负载平衡,但不易实现.现有的算法不能有效地完成海量数据集的相似自连接操作.为此提出了2个新颖的基于mapreduce的相似自连接算法,其思想是采用坐标过滤技术,形成有效候选集,以及针对聚集区域采用六边形划分的内切圆算法.过虑技术是在等宽网格划分基础上,利用同一维坐标间的距离差与相似性约束阈值ε进行比较,可以明显地减少候选集的数量,也证明了六边形划分是所有正多边形全覆盖中最优的划分方法.实验结果表明:新方法比其他算法有更高的效率,提高效率80%以上,它能够有效地解决有聚集区域的海量数据集的相似自连接问题.

关键词：海量数据集过滤相似自连接数据划分 Hadoop平台 mapreduce编程模型

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的多元连接优化方法

引用

计算机研究与发展 2016年第2期53卷 467-478页

作者：李甜甜于戈郭朝鹏宋杰东北大学计算机科学与工程学院沈阳110819 东北大学软件学院沈阳110819

多元连接是数据分析最常用的操作之一,mapreduce是广泛用于大规模数据分析处理的编程模型,它给多元连接优化带来新的挑战:传统的优化方法不能简单地适用到mapreduce中;mapreduce连接执行算法尚存优化空间.针对前者,考虑到I/O代价是连接... 详细信息

多元连接是数据分析最常用的操作之一,mapreduce是广泛用于大规模数据分析处理的编程模型,它给多元连接优化带来新的挑战:传统的优化方法不能简单地适用到mapreduce中;mapreduce连接执行算法尚存优化空间.针对前者,考虑到I/O代价是连接运算的主要代价,首先以降低I/O代价为目标提出一种启发式算法确定多元连接执行顺序,并在此基础上进一步优化,最后针对mapreduce设计一种并行执行策略提高多元连接的整体性能.针对后者,考虑到负载均衡能够有效减少mapreduce的"木桶效应",通过任务公平分配算法提高连接内部的并行度,并在此基础上给出Reduce任务个数的确定方法.最后,通过实验验证本文提出的执行计划确定方法以及负载均衡算法的优化效果.该研究对大数据环境下mapreduce多元连接的应用具有指导意义,可以优化如OLAP分析中的星型连接、社交网络中社团发现的链式连接等应用的性能.

关键词：多元连接执行计划 I/O代价性能优化 mapreduce编程模型负载均衡

来源：评论

学校读者我要写书评

暂无评论

基于多谓词选择的海量XML数据并行查询方法

引用

小型微型计算机系统 2015年第7期36卷 1415-1420页

作者：闫威马宗民辽宁大学计算中心沈阳110036 东北大学信息科学与工程学院沈阳110819

为了解决海量XML数据查询的问题,提出了mapreduce编程模型下多谓词选择的查询处理方法.该方法并行查询海量XML数据,产生的并行查询结果满足用户给定的多谓词查询要求.提出海量XML数据的存储方法,将海量XML数据划分为众多XML数据块存储到... 详细信息

为了解决海量XML数据查询的问题,提出了mapreduce编程模型下多谓词选择的查询处理方法.该方法并行查询海量XML数据,产生的并行查询结果满足用户给定的多谓词查询要求.提出海量XML数据的存储方法,将海量XML数据划分为众多XML数据块存储到HDFS中.提出mapreduce编程模型下基于多谓词选择的Map逻辑算法和Reduce逻辑算法,实现海量XML数据的并行查询处理.进一步提出基于多谓词选择的mapreduce查询优化方法,减少系统的数据传输量,提高了系统的性能.最后,通过实验验证了所提方法的有效性.

关键词：海量XML数据 mapreduce编程模型多谓词选择并行查询

来源：评论

学校读者我要写书评

暂无评论

并行实体解析与记录聚合模型

引用

小型微型计算机系统 2013年第8期34卷 1843-1847页

作者：燕彩蓉万永权东华大学计算机科学与技术学院上海201620 欧特克软件(中国)有限公司上海分公司上海200233

实体解析用于判断两个数据记录是否描述的是同一实体对象,记录聚合则把所有属于同一实体对象的数据记录进行聚集,建立关联,方便交叉索引.本文基于mapreduce编程模型,提出一种迭代的并行处理框架,采用面向学习的分类方法进行实体解析,根... 详细信息

实体解析用于判断两个数据记录是否描述的是同一实体对象,记录聚合则把所有属于同一实体对象的数据记录进行聚集,建立关联,方便交叉索引.本文基于mapreduce编程模型,提出一种迭代的并行处理框架,采用面向学习的分类方法进行实体解析,根据属性相似的传递性,并结合函数式语言的本身特性,对记录进行高效聚合.相关算法和框架应用于建立医院之间患者标识交叉索引平台,为患者主索引的建立以及信息共享提供依据.实验结果表明,mapreduce编程模型非常适合于实体解析与记录聚合的一体化处理,其编程快捷,运行高效,而且数据分区和并行处理技术避免了大量连接引发的内存溢出问题.

关键词：实体解析记录聚合 mapreduce编程模型患者标识交叉索引

来源：评论

学校读者我要写书评

暂无评论

云计算环境下朴素贝叶斯文本分类算法的实现

引用

计算机应用 2011年第9期31卷 2551-2554,2566页

作者：江小平李成华向文张新访中南民族大学电子信息工程学院武汉430074 华中科技大学计算机科学与技术学院武汉430074

采用分布式编程mapreduce模型研究了文本统一格式预处理、训练、测试以及分类等基于朴素贝叶斯文本分类算法主要计算过程的mapreduce并行化方法,并在Hadoop云计算平台进行了实验。实验结果表明:朴素贝叶斯文本分类算法mapreduce并行化后... 详细信息

采用分布式编程mapreduce模型研究了文本统一格式预处理、训练、测试以及分类等基于朴素贝叶斯文本分类算法主要计算过程的mapreduce并行化方法,并在Hadoop云计算平台进行了实验。实验结果表明:朴素贝叶斯文本分类算法mapreduce并行化后在Hadoop云计算平台上部署运行,具有较好的加速比,对中文网页文本分类识别率达到了86%。

关键词：云计算并行计算 mapreduce编程模型文本分类朴素贝叶斯算法

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：