检索结果-内蒙古大学图书馆

科技通报 2017年第4期33卷 110-115页

作者：崔红艳曹建芳史昊忻州师范学院计算机科学与技术系山西忻州034000 太原科技大学计算机科学与技术学院太原030024

为了提高BP神经网络算法的分类准确率和运行时间效率,利用PSO算法和并行化设计的思想,提出了Hadoop平台下基于mapreduce的PSO优化BP神经网络的并行化设计及实现方法。利用PSO算法优化BP神经网络的初始权值和阈值,提高算法分类准确率;采... 详细信息

为了提高BP神经网络算法的分类准确率和运行时间效率,利用PSO算法和并行化设计的思想,提出了Hadoop平台下基于mapreduce的PSO优化BP神经网络的并行化设计及实现方法。利用PSO算法优化BP神经网络的初始权值和阈值,提高算法分类准确率;采用mapreduce并行编程模型实现算法的并行化处理,解决了BP神经网络在处理大规模样本数据集时存在的硬件开销和通信开销大的问题。选用SUN Database场景图像库构造了5个不同规模的数据集,通过与传统的串行PSO-BP神经网络算法实验对比,并行化的PSO-BP神经网络算法分类准确率达92%左右,系统效率在0.85左右,在处理大规模数据集时具有明显的优越性。

关键词： PSO算法 BP神经网络 mapreduce编程模型 Hadoop平台并行化处理大规模数据集

来源：评论

学校读者我要写书评

暂无评论

mapreduce下相似性连接算法改进的研究

MapReduce下相似性连接算法改进的研究

引用

作者：刘云霞大连海事大学

学位级别：硕士

在大数据的时代背景下,拼写检查、数据清洗、协同过滤等应用成为研究热点,而相似性连接作为这些众多数据分析的基本操作有着广泛的应用价值,同时Google提出的mapreduce编程模型是处理海量数据最流行的并行计算模型之一,但因其不能较好... 详细信息

在大数据的时代背景下,拼写检查、数据清洗、协同过滤等应用成为研究热点,而相似性连接作为这些众多数据分析的基本操作有着广泛的应用价值,同时Google提出的mapreduce编程模型是处理海量数据最流行的并行计算模型之一,但因其不能较好的支持相似性连接算法,使得在mapreduce上进行相似性连接成为大数据的一个重要可扩展的研究领域。相似性连接中,以n-gram算法为基础的传统算法应用领域非常广泛,增加了错误拼写对相似性度量的影响,但由于该算法生成的标记存在大量冗余,无形中增加了内存空间的消耗以及运行时间。随后针对n-gram算法提出了改进的ED-Join算法,在前缀筛选阶段减少了前缀标记的数量,但却给每个标记分配了位置因素,虽然运行时间显著减少,空间消耗减少却不多。并且以n-gram算法为基础的ED-Join算法并没有在并行架构下实现,无法适应海量数据处理的要求,因此在海量的数据中改进n-gram算法,减少冗余,减少空间消耗以及运行时间成为亟待解决的问题。针对以上问题,本文改进了传统的n-gram算法以及ED-Join算法,提出一种支持mapreduce的新型算法-n-gram-imp算法。首先,该算法在划分字符串时,用无冗余滑动窗口代替冗余滑动窗口,仅需选取少量的前缀标记参加过滤即可,使空间利用效率以及运行时间都得到了提升。其次,n-gram-imp算法生成的标记无冗余,需要对筛选出的标记进行针对性的过滤操作,所以提出了 Pre-imp前缀过滤算法。最后,在mapreduce计算模型上实现了基于n-gram-imp算法的相似性连接问题,达到了降低算法运行时间,加快数据处理速度的目的。最终在真实数据集和合成数据集上进行了大量的实验。通过与传统的n-gram算法以及ED-Join算法进行对比分析,证明了在并行架构下进行n-gram-imp算法的相似性连接可以达到在平均生成标记的数量、总体运行时间以及消耗内存三方面优于传统的n-gram算法以及ED-Join算法的目的。

关键词：相似性连接 mapreduce编程模型 n-gram ED-Join 滑动窗口

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的相似自连接新方法:过滤和内切圆算法

引用

计算机研究与发展 2016年第12期53卷 2847-2857页

作者：鲍广慧张兆功李建中玄萍黑龙江大学计算机科学与技术学院哈尔滨150080 哈尔滨工业大学计算机科学与技术学院哈尔滨150001

相似自连接是一个在很多应用领域中很重要的问题.对于海量数据集,mapreduce可以提供一个有效的分布式计算框架,相似自连接操作也同样可以应用在mapreduce框架下.但已有研究工作仍然存在不足,如对于聚集数据区域采用加细划分方法,目的是... 详细信息

相似自连接是一个在很多应用领域中很重要的问题.对于海量数据集,mapreduce可以提供一个有效的分布式计算框架,相似自连接操作也同样可以应用在mapreduce框架下.但已有研究工作仍然存在不足,如对于聚集数据区域采用加细划分方法,目的是负载平衡,但不易实现.现有的算法不能有效地完成海量数据集的相似自连接操作.为此提出了2个新颖的基于mapreduce的相似自连接算法,其思想是采用坐标过滤技术,形成有效候选集,以及针对聚集区域采用六边形划分的内切圆算法.过虑技术是在等宽网格划分基础上,利用同一维坐标间的距离差与相似性约束阈值ε进行比较,可以明显地减少候选集的数量,也证明了六边形划分是所有正多边形全覆盖中最优的划分方法.实验结果表明:新方法比其他算法有更高的效率,提高效率80%以上,它能够有效地解决有聚集区域的海量数据集的相似自连接问题.

关键词：海量数据集过滤相似自连接数据划分 Hadoop平台 mapreduce编程模型

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的多元连接优化方法

引用

计算机研究与发展 2016年第2期53卷 467-478页

作者：李甜甜于戈郭朝鹏宋杰东北大学计算机科学与工程学院沈阳110819 东北大学软件学院沈阳110819

多元连接是数据分析最常用的操作之一,mapreduce是广泛用于大规模数据分析处理的编程模型,它给多元连接优化带来新的挑战:传统的优化方法不能简单地适用到mapreduce中;mapreduce连接执行算法尚存优化空间.针对前者,考虑到I/O代价是连接... 详细信息

多元连接是数据分析最常用的操作之一,mapreduce是广泛用于大规模数据分析处理的编程模型,它给多元连接优化带来新的挑战:传统的优化方法不能简单地适用到mapreduce中;mapreduce连接执行算法尚存优化空间.针对前者,考虑到I/O代价是连接运算的主要代价,首先以降低I/O代价为目标提出一种启发式算法确定多元连接执行顺序,并在此基础上进一步优化,最后针对mapreduce设计一种并行执行策略提高多元连接的整体性能.针对后者,考虑到负载均衡能够有效减少mapreduce的"木桶效应",通过任务公平分配算法提高连接内部的并行度,并在此基础上给出Reduce任务个数的确定方法.最后,通过实验验证本文提出的执行计划确定方法以及负载均衡算法的优化效果.该研究对大数据环境下mapreduce多元连接的应用具有指导意义,可以优化如OLAP分析中的星型连接、社交网络中社团发现的链式连接等应用的性能.

关键词：多元连接执行计划 I/O代价性能优化 mapreduce编程模型负载均衡

来源：评论

学校读者我要写书评

暂无评论

大数据技术支持下的电子商务系统的mapreduce架构设计与分析

引用

计算机产品与流通 2018年第4期7卷 160-160页

作者：陈伟锋苏州健雄职业技术学院

大数据环境下,数据挖掘技术不断发展,互联网技术发展过程中,电子商务也在迈入了崛起的历程,借助mapreduce编程模型处理流量数据是目前的主要研究方向,尤其是在大数据技术背景下,利用mapreduce编程模型,设计形成电子商务系统,可以更好地... 详细信息

大数据环境下,数据挖掘技术不断发展,互联网技术发展过程中,电子商务也在迈入了崛起的历程,借助mapreduce编程模型处理流量数据是目前的主要研究方向,尤其是在大数据技术背景下,利用mapreduce编程模型,设计形成电子商务系统,可以更好地收集挖掘展开数据分析工作。本文从mapreduce编程模型的分布式大数据文件系统、具体构成、典型计算设计三个方面进行分析,以此为互联网应用提供良好的大数据基础技术。

关键词： mapreduce编程模型大数据电子商务系统

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的并行关联规则增量更新算法

引用

计算机工程 2016年第2期42卷 21-25,32页

作者：程广王晓峰上海海事大学信息工程学院上海201306

为解决传统关联规则挖掘算法在大数据环境下运行效率较低的问题,基于频繁模式增长(FP-growth)算法,提出一种面向大数据的并行关联规则增量更新算法。利用mapreduce编程模型与云计算平台,对FP-growth算法各步骤进行并行化处理。在增量更... 详细信息

为解决传统关联规则挖掘算法在大数据环境下运行效率较低的问题,基于频繁模式增长(FP-growth)算法,提出一种面向大数据的并行关联规则增量更新算法。利用mapreduce编程模型与云计算平台,对FP-growth算法各步骤进行并行化处理。在增量更新挖掘过程中,使用已有的频繁项集和1-项集对新增事务集构建频繁模式树,通过扫描原始事务数据库完成频繁项集的更新。实验结果表明,与传统关联规则挖掘算法相比,该算法具有更高的挖掘效率和扩展性,适用于海量数据的关联规则增量挖掘。

关键词：大数据云计算 mapreduce编程模型频繁项集增量更新关联规则

来源：评论

学校读者我要写书评

暂无评论

面向大规模数据集的自适应聚类算法并行化研究

面向大规模数据集的自适应聚类算法并行化研究

引用

作者：肖雪平曲阜师范大学

学位级别：硕士

目前,随着网络的普及,各种应用设备逐渐日常化,产生的数据量日益增多,因此需要分析处理的数据规模越来越大,从而使数据挖掘任务变得愈加复杂。作为一种无监督学习方式,聚类是数据挖掘领域的一种重要工具。按照相似性度量原则,聚类尽可... 详细信息

目前,随着网络的普及,各种应用设备逐渐日常化,产生的数据量日益增多,因此需要分析处理的数据规模越来越大,从而使数据挖掘任务变得愈加复杂。作为一种无监督学习方式,聚类是数据挖掘领域的一种重要工具。按照相似性度量原则,聚类尽可能地将具有相同性质的数据对象归于一类,有助于从数据集中提取潜藏的、有价值的信息。一般而言,传统聚类算法在处理大规模数据集时由于受到时间、内存、CPU等资源的限制,很难实现高效处理。因此,针对大规模数据集,如何快速、高效、自适应地对其聚类,并从中挖掘到有价值的信息极具研究意义。近年来,分布式计算、云计算以及分布式存储等技术的迅速发展,为大规模数据集的高效聚类提供了新的研究方向。Hadoop作为Apache的开源项目,采用HDFS(Hadoop Distributed File System)进行数据存储,利用mapreduce编程模型完成对海量数据集的并行处理。Spark作为一种以内存计算为基础的高效并行计算框架,在数据处理过程中,通过将聚类产生的中间结果直接存放到内存中,提高了迭代运算的效率。本文将并行化的思想引入到大规模数据的聚类处理过程中,基于Hadoop和Spark架构对聚类算法做了如下三方面的研究:第一,针对大规模数据集的特点,总结了大规模数据集聚类的主要相关技术及其应用领域;在分析Hadoop架构与mapreduce编程模型的基础上,深入研究了Spark计算框架,并阐释了K-means、Canopy和基本粒子群算法的核心思想及算法流程图。第二,在研究传统K-means、Canopy算法的基础上,针对中心点选取存在的盲目性和随机性问题,提出了一种面向大规模数据集的二分Canopy-Kmeans并行聚类算法(下文简称BCK-means)。该算法采用“动态迭代初始化原则”与“二分法”结合的策略,在确定Canopy初始中心点和T1的基础上,利用mapreduce编程模型实现了算法的并行化处理,在一定程度上适应了大规模数据集的分布式存储应用环境。实验表明,算法的聚类结果能够较好地反映大规模数据集合内在的结构属性划分,尽可能高效地利用了集群的计算和存储能力。第三,在问题二研究的基础上,结合基本粒子群算法的自适应性特点,提出了一种动态自适应惯性权重的粒子群优化K-means并行聚类算法(下文简称dsPSOK-means)。该算法通过适应函数动态调整惯性权重,使dsPSO算法具有自适应特性,然后将dsPSO算法的输出作为K-means算法的输入,从而提高了K-means算法在选择初始中心点的智能性和自适应性。进而,借助Spark平台,设计并实现了集群环境下的dsPSOK-means并行化聚类算法。实验结果表明,dsPSOK-means算法可以有效地减少执行过程中节点间的通信量,能够实现数据的高效处理。总之,本文针对大规模数据集的自适应聚类并行化算法研究,对于解决传统聚类算法处理海量数据的瓶颈问题,有一定的积极作用,为有效提高聚类算法的效率和聚类质量提供了一种新的解决方案。

关键词： Hadoop 聚类分析 mapreduce编程模型 K-means算法 Spark

来源：评论

学校读者我要写书评

暂无评论

基于Hadoop公存式计算的遥感产品生产系统

基于Hadoop公存式计算的遥感产品生产系统

引用

作者：胡俊杰电子科技大学

学位级别：硕士

遥感技术是对地观测的重要手段，种类繁多的生态环境遥感产品从不同角度反应了区域和全球范围内森林、草原、水等重要资源的状态信息，使得有效掌握全球生态环境的变化趋势及其相应影响成为可能。当前世界许多国家均发射了数量不等的对... 详细信息

遥感技术是对地观测的重要手段，种类繁多的生态环境遥感产品从不同角度反应了区域和全球范围内森林、草原、水等重要资源的状态信息，使得有效掌握全球生态环境的变化趋势及其相应影响成为可能。当前世界许多国家均发射了数量不等的对地观测遥感卫星，如美国的Landsat、Terra、Aqua，法国的Spot等等，这些卫星每天将产生海量的对地观测数据，为生产全球范围的生态环境遥感专题产品提供了丰富的数据源。然而，面对海量的遥感数据以及复杂的专题产品生产算法模型，传统的串行生产方式由于较低的运行效率，已逐渐不能满足对大规模遥感数据及时、高效处理的要求。\n 针对此问题，论文利用Hadoop在分布式计算方面的优势，结合生态环境遥感专题产品的生产需求，构建了一套具有较高生产效率的遥感产品生产系统，实现快速、按需生产生态环境遥感专题产品。论文的主要研究内容包括：\n （1）论文以全球环境监测指数和草原干旱指数产品为例，使用 mapreduce编程模型设计并实现了产品并行生产算法。结合mapreduce模型的工作原理和具体生产算法的特点，研究并设计了mapreduce模型的输入键、输入值和分区函数。针对具有多个 mapreduce任务的复杂生产作业，使用工作流技术解决各mapreduce模型间的依赖关系，确保专题产品的高效生产。\n （2）基于构建的生态环境专题产品 mapreduce生产模型，使用单节点和Hadoop集群以串行和分布式计算的方式生产了全球范围内的相应产品，对比分析了串并行生产方式之间的效率差异，以及在不同计算节点情况下Hadoop集群的运算性能。\n （3）基于 Hadoop分布式计算平台，结合 Java2 Platform Enterprise Edition(J2EE)、WebGIS等技术，设计并实现了全球生态环境遥感专题产品生产与服务系统。针对用户对于专题产品的生产需求，系统以接受订单的方式，利用Hadoop集群快速生产出符合用户要求的专题产品。系统围绕 Hadoop生态环境专题产品生产，实现了从订单管理、系统管理、数据管理到最终专题产品生产的一个较为完整的生产环境。与传统桌面型遥感产品生产系统相比，系统不仅有效提高了遥感专题产品的生产效率，同时也为生态环境领域相关研究人员提供一种方便、高效获取专题产品的方式。

关键词： Hadoop公存式计算遥感产品生产系统 mapreduce编程模型

来源：评论

学校读者我要写书评

暂无评论

基于可重构硬件架构的mapreduce计算方法研究与实现

基于可重构硬件架构的MapReduce计算方法研究与实现

引用

作者：付启沐北京交通大学

学位级别：硕士

随着互联网的飞速发展,信息量的爆炸式增长,需要高效的科学计算,以满足快速挖掘有价值信息的需求。在传统的计算机上处理海量的数据需要很长的时间消耗和能量代价,如何快速高效利用好海量的数据成为各行各业所面临的严峻考验。高效利用... 详细信息

随着互联网的飞速发展,信息量的爆炸式增长,需要高效的科学计算,以满足快速挖掘有价值信息的需求。在传统的计算机上处理海量的数据需要很长的时间消耗和能量代价,如何快速高效利用好海量的数据成为各行各业所面临的严峻考验。高效利用海量数据挖掘出有价值的信息成为工业界发展的必然选择。由Google实验室提出的mapreduce编程模型是一种快速、简洁、高效的大数据的处理方法。其通过对大数据块进行子任务划分、任务调配、并行化处理、容错处理等进行封装,很大程度上简化了并行程序的设计,目前已在Google、 Facebook、阿里巴巴等公司的许多项目中得到应用。相比较而言,传统的计算机其有限的运算单元和存储带宽,束缚其性能和功耗无法满足日益推成出新的应用需求。可重构计算架构的处理系统兼顾了专用集成电路的高效性和通用处理器的灵活性的优势,其可高效并行处理计算密集型应用的特点,成为解决并行计算多样性需求的有效途径。本文针对高效处理海量数据的场景下,对mapreduce编程模型和可重构计算技术进行了深入的研究；提出了将mapreduce编程模型与可重构计算技术相结合的研究方案；选取了Kmeans聚类算法和FIR滤波算法两种典型的算法作为目标算法；设计了Kmeas聚类算法和FIR滤波算法的mapreduce编程,完成了这两种算法在可重构硬件架构上的映射。完成了上述算法在可重构计算平台和通用计算平台ATOM230上的性能对比实验,实验结果表明：在可重构计算平台上实现基于mapreduce模型并行化的Kmeans聚类算法和FIR滤波算法在运行时间上较ATOM230通用计算平台分别提升3.2倍和2.6倍。

关键词：大数据 mapreduce编程模型可重构计算

来源：评论

学校读者我要写书评

暂无评论

基于网格单元和P权值的离群数据挖掘及其并行化

基于网格单元和P权值的离群数据挖掘及其并行化

引用

作者：冯婷婷太原科技大学

学位级别：硕士

数据挖掘是从海量数据中发现有价值信息和知识的非平凡过程,可为决策支持服务,而离群数据挖掘是数据挖掘领域的重要组成部分之一。离群数据中经常包含着一些新颖而重要的信息,具有很高的研究价值,离群数据挖掘已在网络入侵检测、信用卡... 详细信息

数据挖掘是从海量数据中发现有价值信息和知识的非平凡过程,可为决策支持服务,而离群数据挖掘是数据挖掘领域的重要组成部分之一。离群数据中经常包含着一些新颖而重要的信息,具有很高的研究价值,离群数据挖掘已在网络入侵检测、信用卡欺诈检测、环境监控、医疗科学等领域都得到广泛应用。本文从海量数据集的空间分布特征与网格单元空间特征结合的角度出发,运用网格单元、P权值以及mapreduce并行编程模型,对离群点挖掘算法及其并行化进行了研究。其主要研究成果如下:1)给出了一种基于网格单元和P权值的离群数据挖掘算法(CWOP)。该算法首先将数据集的每维均分,划分网格单元,并在网格单元中,筛选出离群数据和正常数据网格单元;对既含有离群数据又有正常数据的网格单元,采用P权值的方法,来度量和确定离群数据,从而进一步提高了离群挖掘精度;最后,运用UCI数据集,实验验证了本文算法的可行性。2)利用mapreduce编程模型,给出了一种基于网格单元和P权值的并行离群数据挖掘方法。该算法首先采用三对Map和Reduce函数实现了统计每维数据的最大最小值、统计每个单元及邻域单元的对象数并选出一部分离群数据;其次,计算离群候选对象的P权值;最后,采用UCI数据集和天体光谱数据,用Eclipse作为开发工具,采用Java语言编写程序,设计并实现了mapreduce下基于网格单元和P权值的并行离群数据挖掘算法,实验验证了本文算法的有效性、可扩展性和可伸缩性。

关键词：数据挖掘离群数据网格单元 P权值 mapreduce编程模型

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：