检索结果-内蒙古大学图书馆

计算机测量与控制 2016年第11期24卷 45-47,51页

作者：赵虎覃永震左开伟武警工程大学信息工程系西安710086

针对故障诊断算法特点,给出了MapReduce框架实现故障诊断算法的基本方法;通过对故障诊断算法和MapReduce运算框架的分析,得出诊断算法MapReduce化的基本方法和思路;在算法研究的基础上,针对非迭代诊断算法,采用传统MapReduce框架实现;... 详细信息

针对故障诊断算法特点,给出了MapReduce框架实现故障诊断算法的基本方法;通过对故障诊断算法和MapReduce运算框架的分析,得出诊断算法MapReduce化的基本方法和思路;在算法研究的基础上,针对非迭代诊断算法,采用传统MapReduce框架实现;针对迭代诊断算法,采用添加了传送模块的迭代式MapReduce框架实现;分别以最近邻法和模糊C均值聚类算法为例,给出非迭代和迭代诊断算法MapReduce化的具体实现;实验结果表明,文章所提基本方法可以运用在故障诊断算法中,为诊断算法MapReduce化提供依据,将MapReduce运用到故障诊断算法中可以有效提升故障诊断效率。

关键词：故障诊断算法映射归约模型最近邻法模糊C均值聚类算法迭代

来源：评论

学校读者我要写书评

暂无评论

基于MapReduce模型的GPU编程优化机制研究

基于MapReduce模型的GPU编程优化机制研究

引用

作者：刘凯华中科技大学

学位级别：硕士

随着图形处理器（GPU）体系结构的发展和计算能力的不断提高，GPU在通用计算领域的计算密集型应用上被广泛使用，以弥补 CPU计算能力不足的弱点。现有基于CUDA的GPU编程方式比较繁琐，往往需要开发人员对程序进行十分耗时的手动性能调... 详细信息

随着图形处理器（GPU）体系结构的发展和计算能力的不断提高，GPU在通用计算领域的计算密集型应用上被广泛使用，以弥补 CPU计算能力不足的弱点。现有基于CUDA的GPU编程方式比较繁琐，往往需要开发人员对程序进行十分耗时的手动性能调优过程。为了降低GPU的编程复杂度，分布式计算领域的MapReduce编程模型被应用到GPU平台上。但是，现有基于GPU平台的MapReduce实现方案存在线程同步开销较大，共享内存利用率不高的问题，当处理数据量增大时，性能急剧下降。\n 结合GPU体系结构的特点，提出并实现了基于MapReduce模型的GPU编程优化机制，主要包括以下三个方面的内容。为了充分适应GPU的多层存储架构，在线程的执行方式上采用多层归约机制，避免共享内存数据的频繁换出，减少线程同步开销，提高线程的并发执行效率；提出基于归约频率的共享内存数据缓存策略，通过对数据进行预处理，收集应用程序执行过程中生成的中间键值对的频率特征，指导GPU上共享内存资源的分配，以提高共享内存的缓存效果，减少全局内存访问，从而提升线程在归约计算过程中的访存效率；引入CPU与GPU之间的异步数据传输机制，通过对原始输入数据进行分割，并在全局内存上设置两个输入缓冲区，使用两个GPU流实现了数据传输和GPU端计算的异步执行，有效隐藏了I/O时间开销。\n 在Linux平台和CUDA编程环境下，使用3个典型的MapReduce应用Kmeans、Word Count和Page View Count进行了测试。实验结果表明，基于以上优化机制的MapReduce实现方案，与现有基于局部归约的方案对比，减少了线程同步开销，提高了共享内存的使用效率，降低了输入数据的I/O开销，在整体性能上有明显提升。

关键词：图形处理器编程方式手动性能优化机制映射归约模型

来源：评论

学校读者我要写书评

暂无评论

面向迭代计算的MapReduce优化方法研究

面向迭代计算的MapReduce优化方法研究

引用

作者：余根茂华中科技大学

学位级别：硕士

MapReduce计算模型是一种流行的分布式计算模型。MapReduce计算模型从解决简单的文本处理问题发展到解决复杂的机器学习、数据挖掘和社交网络分析等问题，从处理批处理型作业发展到处理迭代型作业。但是大量的使用经验表明MapReduce计... 详细信息

MapReduce计算模型是一种流行的分布式计算模型。MapReduce计算模型从解决简单的文本处理问题发展到解决复杂的机器学习、数据挖掘和社交网络分析等问题，从处理批处理型作业发展到处理迭代型作业。但是大量的使用经验表明MapReduce计算模型不适合迭代型作业。由于任务的重复执行特性和动态数据的存在，迭代型作业中存在大量的数据传输。迭代算法广泛存在于机器学习、数据挖掘和社交网络分析等应用中，现有MapReduce计算模型无法有效支持这类应用，设计一种能够透明高效地支持迭代计算的MapReduce计算模型是亟待解决的问题。\n 针对现有Hadoop实现迭代算法存在网络传输负载大的问题，面向迭代计算的MapReduce优化方法从计算模型的数据流角度出发，从四个不同角度进行优化：通过一种动态数据的缓存策略，解决将动态数据存储于分布式文件系统中带来的额外网络传输开销和磁盘I/O开销；通过一种动态数据的预取策略，解决传统系统中以任务为单位请求和传输数据方式带来的极大的网络传输开销；通过一种面向迭代型作业的任务调度策略，解决任务调度器对集群网络负载的弱感知性，并支持作业历史执行信息的反馈优化；同时为了解决节点失败导致动态数据在存储和传输过程中丢失的问题，提出针对于动态数据的容错策略以减少重复计算。基于以上优化方法实现了原型系统Conch。\n 实验结果表明，Conch系统能够透明高效地支持迭代型作业。基于现有测试规模，动态数据传输规模降低了16倍。在单作业环境下相较于Hadoop系统和HaLoop系统，Conch系统中K-Means作业性能提升了17.7%和14.7%，fuzzy C-Means作业性能提升了15.9%和13.5%。在多作业环境下，Conch系统有更高的作业吞吐量，相较于Hadoop系统和HaLoop系统分别最高提升了63.6%和28.6%。

关键词：迭代型作业动态数据映射归约模型算法优化

来源：评论

学校读者我要写书评

暂无评论

基于MapReduce的SQL查询优化分析

基于MapReduce的SQL查询优化分析

引用

2014年全国开放式分布与并行计算学术年会

作者：张首正周凯东河北工程大学信息与电气工程学院河北邯郸 056038

对SQL翻译成MapReduce程序的性能进行分析,并对影响翻译性能的原因进行阐述.结合MapReduce作业间输入相关性、数据转换相关性和作业流相关性的分析,通过合并冗余的作业,减少资源消耗,从而达到提高SQL查询性能的目的,给出了优化条件和优... 详细信息

对SQL翻译成MapReduce程序的性能进行分析,并对影响翻译性能的原因进行阐述.结合MapReduce作业间输入相关性、数据转换相关性和作业流相关性的分析,通过合并冗余的作业,减少资源消耗,从而达到提高SQL查询性能的目的,给出了优化条件和优化规则.通过对优化前后的性能进行对比,证明改进后的SQL过程有更高的执行效率.

关键词：关系型数据库查询语言翻译性能映射归约模型

来源：评论

学校读者我要写书评

暂无评论

一种基于动态划分的MapReduce负载均衡方法

一种基于动态划分的MapReduce负载均衡方法

引用

第30届中国数据库学术会议

作者：周家帅王琦高军北京大学信息科学技术学院北京100871 高可信软件技术教育部重点实验室(北京大学) 北京100871 国家计算机网络应急技术处理协调中心北京 100029

MapReduce作为一种分布式计算框架,在大规模数据处理中已经被广泛应用.负载均衡是影响分布式计算性能的关键因素,当前的MapReduce实现在给集群分发任务时,多采用Hash的随机划分方式,无法根据数据的分布情况来调整集群的负载,容易出现负... 详细信息

MapReduce作为一种分布式计算框架,在大规模数据处理中已经被广泛应用.负载均衡是影响分布式计算性能的关键因素,当前的MapReduce实现在给集群分发任务时,多采用Hash的随机划分方式,无法根据数据的分布情况来调整集群的负载,容易出现负载不均衡的问题.为解决这一问题,对当前的MapReduce框架进行拓展,根据对Map端中间结果的采样来动态确定Reduce任务数目以及划分函数,保证Reduce任务的负载均衡具体地,对Map的结果进行采样,并将其发送给Job *** Tracker根据采样数据的分布情况动态确定划分函数,以保证每个Reduce任务处理的记录数目均衡.更重要的是,在Hadoop框架内实现了负载均衡方法,测试结果证明方法具有良好的有效性、兼容性和可用性.

关键词：数据处理映射归约模型负载均衡方法质量控制

来源：评论

学校读者我要写书评

暂无评论

基于MapReduce的连接聚集查询算法研究

基于MapReduce的连接聚集查询算法研究

引用

第30届中国数据库学术会议

作者：陈勇旭陈梦杰刘雪冰宋杰东北大学软件学院沈阳110819

数据的指数级增长给数据管理和分析带来了严峻的挑战.连接聚集查询是数据分析中一种常用运算,而MapReduce是一种用于大规模数据集并行处理的编程模型,研究基于MapReduce的连接聚集查询算法有着学术意义和应用价值.首先在归纳和扩展现有... 详细信息

数据的指数级增长给数据管理和分析带来了严峻的挑战.连接聚集查询是数据分析中一种常用运算,而MapReduce是一种用于大规模数据集并行处理的编程模型,研究基于MapReduce的连接聚集查询算法有着学术意义和应用价值.首先在归纳和扩展现有连接算法的基础上,总结出4种基于MapReduce的连接聚集查询算法;接着根据应用场景的不同又提出另外两种实现算法;同时提出I/O代价是决定基于MapReduce的连接聚集查询算法性能的主要因素;最后通过大量实验分析这6种算法在不同查询应用下的优劣,总结了它们各自的适用场景,并分析了各个算法的性能与数据特征之间的关系.

关键词：海量数据连接聚集查询算法映射归约模型效果评价

来源：评论

学校读者我要写书评

暂无评论

共享的MapReduce环境下批量作业的调度算法研究

共享的MapReduce环境下批量作业的调度算法研究

引用

第30届中国数据库学术会议

作者：王习特申德荣聂铁铮寇月于戈东北大学信息科学与工程学院沈阳110004

MapReduce作为当前最热门的并行数据处理系统之一,已经被广泛应用在生产、研究等多个领域中.任务调度策略作为MapReduce的核心技术之一,直接关系到系统的性能但是,在多用户(部门)共享的MapReduce环境下处理批量作业时,已有的调度算法不... 详细信息

MapReduce作为当前最热门的并行数据处理系统之一,已经被广泛应用在生产、研究等多个领域中.任务调度策略作为MapReduce的核心技术之一,直接关系到系统的性能但是,在多用户(部门)共享的MapReduce环境下处理批量作业时,已有的调度算法不能够保证系统良好的吞吐能力.针对此问题,提出一种在共享的MapReduce环境下的吞吐量驱动的任务调度算法(简称TD调度算法).首先结合共享的MapReduce环境下批量作业调度的特点,给出了调度框架,并根据处理过程中作业的参数变化,将作业归为4种状态并给出状态间的转换规则,避免了系统中资源浪费并保证了资源分配的公平性;其次,总结了在处理批量作业时提高吞吐量的主要手段,进而提出了TD调度算法,有效地降低了网络开销并显著的提高了系统的吞吐能力.最后通过大量的实验对FD调度算法的性能进行了验证.实验结果表明,TD调度算法能够有效地提高在共享的MapReduce环境下处理批量作业时系统的吞吐能力,符合实际应用的需求.

关键词：数据处理批量作业任务调度算法映射归约模型吞吐量

来源：评论

学校读者我要写书评

暂无评论

基于Map-Reduce的大数据缺失值填充算法

基于Map-Reduce的大数据缺失值填充算法

引用

第30届中国数据库学术会议

作者：金连王宏志黄沈滨高宏哈尔滨工业大学计算机科学与技术学院哈尔滨150001 哈尔滨工业大学网络与信息中心哈尔滨 150001

缺失值大量存在于现实数据库中,这不仅严重影响了信息查询质量,还会扭曲数据挖掘与数据分析结论,进而误导决策.解决这一问题的最佳方法是预先填充这些丢失的数据.给出了一种基于概率推理的填充分类属性的算法.推理过程是在一个基于属性... 详细信息

缺失值大量存在于现实数据库中,这不仅严重影响了信息查询质量,还会扭曲数据挖掘与数据分析结论,进而误导决策.解决这一问题的最佳方法是预先填充这些丢失的数据.给出了一种基于概率推理的填充分类属性的算法.推理过程是在一个基于属性相关性而建立起来的贝叶斯网中完成,为实现大数据处理的并行化,在Map-Reduce框架中给出这两个算法.实验部分分别验证了贝叶斯网构建方法和概率推理对分类数据处理的有效性,以及算法在hadoop中运行的并行化程度.

关键词：信息查询大数据处理缺失值填充算法映射归约模型质量控制

来源：评论

学校读者我要写书评

暂无评论

基于MapReduce的序列规则在推荐系统中的研究

基于MapReduce的序列规则在推荐系统中的研究

引用

2013年贵州省计算机学会年会

作者：元二菊郭进伟皮建勇贵州大学计算机科学与信息学院贵州贵阳 550025 贵州大学云计算与物联网研究中心贵州贵阳 550025

目前常用的个性化推荐系统模型通常是基于协同过滤或者是基于内容的,也有部分基于关联规则的.这些算法没有考虑事务间的顺序,然而在很多应用中这样的顺序是很重要.本文提出了一种简易的基于序列模式的推荐模型,并且考虑到大规模数据的处... 详细信息

目前常用的个性化推荐系统模型通常是基于协同过滤或者是基于内容的,也有部分基于关联规则的.这些算法没有考虑事务间的顺序,然而在很多应用中这样的顺序是很重要.本文提出了一种简易的基于序列模式的推荐模型,并且考虑到大规模数据的处理,结合了MapReduce编程模型.这种简易的推荐模型可以用来辅助通常的个性化推荐系统.

关键词：数据挖掘个性化推荐系统序列规则映射归约模型

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：