检索结果-内蒙古大学图书馆

基于mapreduce的新聚类算法在农业领域的应用——以柑橘红蜘蛛图像目标识别为例

中国农机化学报 2016年第9期37卷 166-171页

作者：卞云超司秀丽吉林农业大学长春市130118

针对K-means聚类算法需要先给定k值,在一些应用场景中最优k值是未知的问题,提出基于评价机制的自适应K-means算法(SAK-means),并将该算法的核心步骤改写成Mapper/Reducer的形式,部署在Hadoop集群中。经过试验,该算法能够根据数据集的分... 详细信息

针对K-means聚类算法需要先给定k值,在一些应用场景中最优k值是未知的问题,提出基于评价机制的自适应K-means算法(SAK-means),并将该算法的核心步骤改写成Mapper/Reducer的形式,部署在Hadoop集群中。经过试验,该算法能够根据数据集的分布情况适当修正k值,特别适用于处理批量的、大尺寸的、最优k值非固定的聚类分析任务,并以批量的柑橘红蜘蛛图像目标识别为例进行验证,结果表明使用SAK-means算法无需给出最优的聚类中心数目,在一定范围内算法可以对聚类中心数目进行有效修正,对于实验中所选用的4幅图像,均可以达到100%的识别率与0%的误判率。进一步研究的方向是最优初始参数的选取,以及算法在集群中的扩展性与加速比。

关键词：并行计算聚类算法 mapreduce编程模型图像识别机器视觉

来源：评论

学校读者我要写书评

暂无评论

mapreduce任务调度的资源优化研究

引用

互联网天地 2016年第11期 33-38页

作者：李琴贵州交通职业技术学院贵阳550008

现有的大数据处理技术以面向数据并行编程模型为核心,计算任务的并行化必然会面临计算任务调度策略和资源配置优化问题。简要分析了当前大数据处理技术,介绍了mapreduce编程模型及其支撑系统,重点分析了mapreduce任务调度的资源优化策... 详细信息

现有的大数据处理技术以面向数据并行编程模型为核心,计算任务的并行化必然会面临计算任务调度策略和资源配置优化问题。简要分析了当前大数据处理技术,介绍了mapreduce编程模型及其支撑系统,重点分析了mapreduce任务调度的资源优化策略研究现状,并对未来任务调度的资源配置优化提出了挑战。

关键词：大数据处理 mapreduce编程模型任务调度资源优化

来源：评论

学校读者我要写书评

暂无评论

基于多谓词选择的海量XML数据并行查询方法

引用

小型微型计算机系统 2015年第7期36卷 1415-1420页

作者：闫威马宗民辽宁大学计算中心沈阳110036 东北大学信息科学与工程学院沈阳110819

为了解决海量XML数据查询的问题,提出了mapreduce编程模型下多谓词选择的查询处理方法.该方法并行查询海量XML数据,产生的并行查询结果满足用户给定的多谓词查询要求.提出海量XML数据的存储方法,将海量XML数据划分为众多XML数据块存储到... 详细信息

为了解决海量XML数据查询的问题,提出了mapreduce编程模型下多谓词选择的查询处理方法.该方法并行查询海量XML数据,产生的并行查询结果满足用户给定的多谓词查询要求.提出海量XML数据的存储方法,将海量XML数据划分为众多XML数据块存储到HDFS中.提出mapreduce编程模型下基于多谓词选择的Map逻辑算法和Reduce逻辑算法,实现海量XML数据的并行查询处理.进一步提出基于多谓词选择的mapreduce查询优化方法,减少系统的数据传输量,提高了系统的性能.最后,通过实验验证了所提方法的有效性.

关键词：海量XML数据 mapreduce编程模型多谓词选择并行查询

来源：评论

学校读者我要写书评

暂无评论

对数似然相似度算法的mapreduce并行化实现

引用

计算机工程与设计 2015年第5期36卷 1233-1238页

作者：张明敏张功萱周秀敏南京理工大学计算机科学与工程学院江苏南京210094

为提高Mahout中协同过滤算法处理大数据的能力,对云计算平台进行研究,提出一种基于mapreduce模型计算相似度的方法。通过设计4个mapreduce任务,实现对数似然相似度算法的并行化;结合算法自身的特点,采用复合键对和同现矩阵的思想将大量... 详细信息

为提高Mahout中协同过滤算法处理大数据的能力,对云计算平台进行研究,提出一种基于mapreduce模型计算相似度的方法。通过设计4个mapreduce任务,实现对数似然相似度算法的并行化;结合算法自身的特点,采用复合键对和同现矩阵的思想将大量小键值对合并为大键值对,以减少中间计算量和通信开销。实验结果表明,和Mahout中的单机版相似度算法相比,基于Hadoop平台的对数似然相似度算法具有很好的加速比和可扩展性,能够提升推荐算法的效率。

关键词：云计算 mapreduce编程模型协同过滤对数似然相似度同现矩阵并行化

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的约束频繁项集挖掘算法

引用

计算机工程与设计 2015年第10期36卷 2725-2728,2748页

作者：施亮钱雪忠江南大学物联网工程学院江苏无锡214122

传统的约束频繁项集挖掘方法无法实现对较大数据量的快速处理,针对该问题,结合分布式框架Hadoop的分布式计算优势,提出一种基于mapreduce的约束频繁项集挖掘算法。将一个完整的挖掘任务分成若干个相对独立的子任务,根据用户自定义的约... 详细信息

传统的约束频繁项集挖掘方法无法实现对较大数据量的快速处理,针对该问题,结合分布式框架Hadoop的分布式计算优势,提出一种基于mapreduce的约束频繁项集挖掘算法。将一个完整的挖掘任务分成若干个相对独立的子任务,根据用户自定义的约束条件对子任务进行并行挖掘,提高算法的执行效率。实验结果表明,该算法具有较好的实用性和良好的扩展性。

关键词：数据挖掘 mapreduce编程模型约束频繁项集频繁模式树关联规则

来源：评论

学校读者我要写书评

暂无评论

基于Hadoop的分布式文件系统实现

引用

西华师范大学学报（自然科学版） 2015年第1期36卷 95-101页

作者：罗光明四川水利职业技术学院四川成都611230

为了解决现阶段海量数据的传输效率低下的问题,设计了基于Hadoop的分布式文件系统。系统是基于Hadoop的架构进行研究的,用mapreduce编程模型实现海量数据的上传与下载,从而达到数据的高效传输,并对其进行了传输性能测试。通过测试,基于H... 详细信息

为了解决现阶段海量数据的传输效率低下的问题,设计了基于Hadoop的分布式文件系统。系统是基于Hadoop的架构进行研究的,用mapreduce编程模型实现海量数据的上传与下载,从而达到数据的高效传输,并对其进行了传输性能测试。通过测试,基于Hadoop的数据传输效率远远大于传统的数据传输效率,该系统具有一定的实用性.

关键词： Hadoop分布式系统 mapreduce编程模型高效传输

来源：评论

学校读者我要写书评

暂无评论

云环境下K-means算法的并行化

引用

微型机与应用 2015年第24期34卷 25-27,31页

作者：何佩佩谢颖华数字化纺织服装技术教育部工程研究中心上海201620 东华大学信息科学与技术学院上海201620

随着大数据时代的到来,传统的聚类算法很难高效地处理海量数据,而云计算平台凭借负载均衡、网络存储、虚拟化等技术,有效地突破了耗时耗能的瓶颈,为海量数据的处理提供了良好的解决方案。主要研究了Hadoop平台下的mapreduce编程模型及传... 详细信息

随着大数据时代的到来,传统的聚类算法很难高效地处理海量数据,而云计算平台凭借负载均衡、网络存储、虚拟化等技术,有效地突破了耗时耗能的瓶颈,为海量数据的处理提供了良好的解决方案。主要研究了Hadoop平台下的mapreduce编程模型及传统K-means算法,提出了一种基于mapreduce的并行化K-means算法的设计方案,包括Map函数和Reduce函数的设计。通过实验,验证了并行化K-means算法适用于较大规模数据集的分析和挖掘。

关键词：云计算数据挖掘 mapreduce编程模型 K-means聚类算法并行化

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce和分布式缓存的KNN分类算法研究

引用

微型机与应用 2015年第2期34卷 18-21页

作者：涂敬伟皮建勇贵州大学计算机科学与信息学院贵州贵阳550025 贵州大学云计算与物联网研究中心贵州贵阳550025

随着大数据时代的到来,K最近邻(KNN)算法较高的计算复杂度的弊端日益凸显。在深入研究了KNN算法的基础上,结合Map Reduce编程模型,利用其开源实现Hadoop,提出了一种基于Map Reduce和分布式缓存机制的KNN并行化方案。该方案只需要通过Map... 详细信息

随着大数据时代的到来,K最近邻(KNN)算法较高的计算复杂度的弊端日益凸显。在深入研究了KNN算法的基础上,结合Map Reduce编程模型,利用其开源实现Hadoop,提出了一种基于Map Reduce和分布式缓存机制的KNN并行化方案。该方案只需要通过Mapper阶段就能完成分类任务,减少了Task Tracker与Job Tracker之间的通信开销,同时也避免了Mapper的中间结果在集群任务节点之间的通信开销。通过在Hadoop集群上实验,验证了所提出的并行化KNN方案有着优良的加速比和扩展性。

关键词： KNN分类算法并行化 mapreduce编程模型 Hadoop 分布式缓存

来源：评论

学校读者我要写书评

暂无评论

一种基于Hadoop架构的指挥系统大数据挖掘方法

一种基于Hadoop架构的指挥系统大数据挖掘方法

引用

第三届中国指挥控制大会

作者：张恺玉陈磊西安导航技术研究所

随着军事领域作战一体化的趋势越来越明显,指挥信息系统在战场上需要处理越来越多的数据,因此,指挥信息系统对于大数据分析与处理提出了更高的要求。本文中首先介绍了指挥信息系统在应用大数据分析时所面临的困难和挑战,然后针对大数据... 详细信息

随着军事领域作战一体化的趋势越来越明显,指挥信息系统在战场上需要处理越来越多的数据,因此,指挥信息系统对于大数据分析与处理提出了更高的要求。本文中首先介绍了指挥信息系统在应用大数据分析时所面临的困难和挑战,然后针对大数据分析和处理的困难提出了基于Hadoop架构的数据挖掘方法。在此基础上,通过使用mapreduce并行实现ISO聚类算法仿真测试了基于Hadoop架构的数据挖掘分析的算法速率,结果表明,该方法能够在一定程度上提升指挥信息系统中大量非结构化数据的分析效率。

关键词：大数据分析数据挖掘 Hadoop架构 mapreduce编程模型 ISO聚类算法

来源：评论

学校读者我要写书评

暂无评论

云计算技术在垃圾短信过滤中的应用与实现

云计算技术在垃圾短信过滤中的应用与实现

引用

2015中国计算机网络安全年会

作者：孙大鹏国家计算机网络应急技术处理协调中心中心辽宁分中心辽宁沈阳110035

基于内容分析的垃圾短信过滤技术存在复杂度过高、易导致信息网络阻塞等不足.针对这一缺点,本文分析了基于内容过滤器所使用的云计算技术平台,发现其可以通过云计算的Hadoop开源实现方案中的mapreduce编程模型来实现.

关键词：垃圾短信信息过滤云计算 Hadoop架构 mapreduce编程模型

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：