检索结果-内蒙古大学图书馆

计算机应用 2012年第11期32卷 2989-2993页

作者：梁秋实吴一雷封磊北京市科学技术研究院北京市计算中心北京100012

在微博搜索领域,单纯依赖于粉丝数量的搜索排名使刷粉行为有了可乘之机,通过将用户看作网页,将用户间的"关注"关系看作网页间的链接关系,使PageRank关于网页等级的基本思想融入到微博用户搜索,并引入一个状态转移矩阵和一个... 详细信息

在微博搜索领域,单纯依赖于粉丝数量的搜索排名使刷粉行为有了可乘之机,通过将用户看作网页,将用户间的"关注"关系看作网页间的链接关系,使PageRank关于网页等级的基本思想融入到微博用户搜索,并引入一个状态转移矩阵和一个自动迭代的mapreduce工作流将计算过程并行化,进而提出一种基于mapreduce的微博用户搜索排名算法。在Hadoop平台上对该算法进行了实验分析,结果表明,该算法避免了用户排名单纯与其粉丝数量相关,使那些更具"重要性"的用户在搜索结果中的排名获得提升,提高了搜索结果的相关性和质量。

关键词：微博搜索云计算 mapreduce编程模型 Hadoop平台/系统 PageRank算法

来源：评论

学校读者我要写书评

暂无评论

面向高性能计算机的海量数据处理平台实现与评测

引用

计算机研究与发展 2012年第S1期49卷 357-361页

作者：黄訸易晓东李姗姗廖湘科国防科学技术大学计算机学院长沙410073

高性能计算机主要应用于传统的科学计算领域,而在云计算时代,数据密集型应用成为一大类新型应用,已经变得越来越重要.主要探索如何在高性能计算机上高效地进行海量数据处理,使高性能计算机在进行科学计算的同时,能够非常好地支持数据密... 详细信息

高性能计算机主要应用于传统的科学计算领域,而在云计算时代,数据密集型应用成为一大类新型应用,已经变得越来越重要.主要探索如何在高性能计算机上高效地进行海量数据处理,使高性能计算机在进行科学计算的同时,能够非常好地支持数据密集型应用,拓展高性能计算机的应用领域.分析了高性能计算机上mapreduce模型实现和部署的可行性之后,在高性能计算环境中进行了实验.实验结果表明,存储系统的并行I/O能力不能充分发挥,是造成系统无法高效运行的主要瓶颈.而导致这个性能瓶颈的原因,是高并发带来的对集群文件系统资源的竞争和冲突.最后,提出了几种解决集群文件系统资源冲突的方案,这是今后的研究方向.

关键词：高性能计算机海量数据处理 mapreduce编程模型

来源：评论

学校读者我要写书评

暂无评论

对数似然相似度算法的mapreduce并行化实现

引用

计算机工程与设计 2015年第5期36卷 1233-1238页

作者：张明敏张功萱周秀敏南京理工大学计算机科学与工程学院江苏南京210094

为提高Mahout中协同过滤算法处理大数据的能力,对云计算平台进行研究,提出一种基于mapreduce模型计算相似度的方法。通过设计4个mapreduce任务,实现对数似然相似度算法的并行化;结合算法自身的特点,采用复合键对和同现矩阵的思想将大量... 详细信息

为提高Mahout中协同过滤算法处理大数据的能力,对云计算平台进行研究,提出一种基于mapreduce模型计算相似度的方法。通过设计4个mapreduce任务,实现对数似然相似度算法的并行化;结合算法自身的特点,采用复合键对和同现矩阵的思想将大量小键值对合并为大键值对,以减少中间计算量和通信开销。实验结果表明,和Mahout中的单机版相似度算法相比,基于Hadoop平台的对数似然相似度算法具有很好的加速比和可扩展性,能够提升推荐算法的效率。

关键词：云计算 mapreduce编程模型协同过滤对数似然相似度同现矩阵并行化

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的数据挖掘平台设计与实现

引用

计算机工程与设计 2013年第2期34卷 495-501页

作者：黄斌许舒人蒲卫中国科学院软件研究所软件工程技术中心北京100190 中国科学院研究生院北京100190 解放军卫生信息中心北京100842

mapreduce编程模型的简单性和高性价比使得其适用于海量数据的并行处理。然而,mapreduce欠缺对多数据源、组件复用以及数据可视化支持,这些缺点使用户在运用mapreduce框架进行数据挖掘时暴露出开发效率低下,重复开发等问题。提出了一种... 详细信息

mapreduce编程模型的简单性和高性价比使得其适用于海量数据的并行处理。然而,mapreduce欠缺对多数据源、组件复用以及数据可视化支持,这些缺点使用户在运用mapreduce框架进行数据挖掘时暴露出开发效率低下,重复开发等问题。提出了一种基于mapreduce的数据挖掘平台的设计与实现,该设计思想为Hadoop作为大规模数据计算平台在数据挖掘、数据可视化以及商业智能应用方面的不足提供了参考与弥补。同时,基于该方法实现了一个大规模数据挖掘工具。

关键词： mapreduce编程模型数据挖掘 Hadoop平台模型驱动可视化

来源：评论

学校读者我要写书评

暂无评论

基于hadoop的多层次局部动态并行化技术研究

基于hadoop的多层次局部动态并行化技术研究

引用

作者：王晓玮中国科学院研究生院

学位级别：博士

随着海量数据时代的到来，能够有效的存储和处理大规模数据的平台受到越来越广泛的关注。这些平台大多利用了集群的分布式处理和节点的多核并行计算能力。其中以mapreduce编程模型为基础的处理框架尤为突出。这些平台从宏观的角度关注... 详细信息

随着海量数据时代的到来，能够有效的存储和处理大规模数据的平台受到越来越广泛的关注。这些平台大多利用了集群的分布式处理和节点的多核并行计算能力。其中以mapreduce编程模型为基础的处理框架尤为突出。这些平台从宏观的角度关注资源的有效使用，衡量集群的负载均衡。但是mapreduce是一个阶段并行模型，它按序执行的特点会造成某一时间点节点资源使用的不均衡，所以从微观角度看，mapreduce系统并未在任何时刻都有效地利用节点的各种资源。同时这种按序执行也对数据依赖型作业组产生影响，由于依赖作业不能提前调度，使得节点IO和CPU资源处于空闲。\n 目前大多数系统为克服mapreduce的严格按序执行而提出的策略主要是以数据流为基础的并行，即任务之间通过使用数据流水线而达到任务的提前执行。由于没有从资源的角度进行考虑，会造成资源使用的冲突。而且非固化的数据流会使错误恢复变得复杂。而对于依赖作业支持方面，大多数系统只是在mapreduce之上封装了一些可以表示依赖作业的接口，或是一些数据结构，但是真正mapreduce的核心调度层还是无法区分普通作业和依赖作业组。\n 基于大规模数据处理的重要性以及目前系统对节点资源有效使用的解决方案的不完善性，本文提出了以流水线方式为基础的局部动态并行化技术，并将该技术运用到开源的mapreduce框架badoop上。\n 局部动态并行化技术从两方面展开：同种任务内的并行化和数据依赖犁作业间的并行化。任务内的并行化采用的是资源流水线思想：首先将一个任务划分成具有不同资源使用倾向的子阶段，之后通过动态的改变slot的数量使得任务可以提前执行，实现同一时刻资源使用的互补。数据依赖型作业间的并行化采用的是数据流水线的思想：在两个依赖的作业之间开设一个数据缓冲池，当部分数据产生时，就可以开始调度下一个作业对应的Map任务。虽然以上两种并行化技术可以使资源互补使用，但是由于每一个子阶段执行时间的不同仍然可能会造成资源的冲突。本文通过系统的资源配置设定一些限制从而决定何时动态的启动任务或何时任务可以进入下一阶段。这些限制在任务内的并行技术中主要体现在代表资源的多种slot的设置上，在依赖作业间主要体现在根据Reduce任务执行数量变化的实时调度上。最后本文基于以上两种流水线技术总结出多阶段并行模型，从而指导并行框架的调度。\n 本文对并行化技术和模型进行了实现并做了实验验证。实验证明任务内的并行化技术可以使节点的资源使用率得到6％至10％的提升，执行时间获得5％到15％的平均提升。而作业间的并行化技术也使依赖作业组执行时间降低。

关键词： mapreduce编程模型流水线局部动态并行 hadoop手机

来源：评论

学校读者我要写书评

暂无评论

面向mapreduce的工作流扩展与执行优化技术研究

面向MapReduce的工作流扩展与执行优化技术研究

引用

作者：吴容中国科学院研究生院

学位级别：博士

由于易用性和良好的扩展性，google提出的mapreduce编程模型被广泛应用于各类大规模数据处理和分析项目中。在实际应用中，一个分析项目往往需要分解成多个mapreduce作业，且这些计算作业和其之间的数据依赖关系共同组成了复杂的计算工... 详细信息

由于易用性和良好的扩展性，google提出的mapreduce编程模型被广泛应用于各类大规模数据处理和分析项目中。在实际应用中，一个分析项目往往需要分解成多个mapreduce作业，且这些计算作业和其之间的数据依赖关系共同组成了复杂的计算工作流。\n 现有的面向mapreduce的工作流平台在支持含有迭代计算的mapreduce工作流时存在一些不足。首先，现有工作流描述方法不能描述含有迭代计算的工作流。其次，现有工作流作业调度机制对工作流执行优化问题考虑较少。再次，现有mapreduce工作流平台依靠分布式文件系统实现作业间数据传递，这样，作业间的计算并行性就无法得以实现，从而影响到资源的利用率和工作流的执行效率。\n 基于以上现有工作流平台的不足之处，本文旨在完善工作流描述方法，研究含有迭代计算的mapreduce工作流的解析和调度方法，以及工作流中作业间数据传递机制等执行优化技术。\n 本文主要工作总结如下：\n 1.提出扩展的mapreduce工作流描述语言。该语言提出决策节点和决策类的概念以支持用户定义带有迭代计算的工作流，并能够指定迭代终止条件，以及循环结束前后的数据流向。\n 2.提出一种迭代消解算法，用于自动化解析和调度带有迭代计算的工作流。这种迭代消解算法主要思想是根据决策节点的决策结果而动态寻找当前的极大DAG子工作流。\n 3.提出DAG工作流调度优化策略。这种策略包括DAG工作流分组策略和作业节点有序组调度和映射策略。前者使得没有数据依赖关系的作业得以并行提交。后者则是根据负载均衡，数据依赖任务邻近化原则，针对迭代计算静态数据优化等来对作业节点中的任务进行映射。后者和作业间数据传递机制共同达到提高作业间执行并行化的效果。实验表明分组算法能够缩短了工作流总体执行时间大约10％-20％。\n 4.提出作业间的分片推式数据传递。这种数据传递机制下，源节点任务一边计算一边周期性的将数据分片的推送给目的节点，目的节点任务读取先收取到数据分片并以后立刻开始计算。这种数据传递机制使得有数据依赖关系的任务的执行得以并行化，从而使得依赖作业的执行得以并行化。实验表明作业调度和映射策略与作业间推式数据传递机制能够缩短工作流总体执行时间大约20％-60％。

关键词： mapreduce编程模型 hadoop手机工作流迭代计算作业调度数据传递

来源：评论

学校读者我要写书评

暂无评论

面向大数据的数据库划分FP-Growth改进算法

引用

南昌大学学报（理科版） 2022年第5期46卷 570-576页

作者：张乐魏昕怡徐苏林两位南昌大学数学与计算机学院江西南昌330031 南昌大学际銮书院江西南昌330031 数字福建气象大数据研究所(闽南师范大学) 福建漳州363000

提出了一种基于Hadoop架构和mapreduce编程模型实现的面向大数据的FP-Growth频繁项集挖掘的改进算法。首先将事务数据库按每个频繁1项进行抽取,生成对应的投影数据库,并将这些投影数据库分发到一个个节点机上;再由节点机对投影数据库进... 详细信息

提出了一种基于Hadoop架构和mapreduce编程模型实现的面向大数据的FP-Growth频繁项集挖掘的改进算法。首先将事务数据库按每个频繁1项进行抽取,生成对应的投影数据库,并将这些投影数据库分发到一个个节点机上;再由节点机对投影数据库进行划分,生成一个个规模更小的子数据库,并由节点机使用改进后的算法并行挖掘生成部分频繁项集;最后归并所有部分频繁项集得到全部的频繁项集。该算法无需像传统的FP-Growth算法一样为事务数据库生成庞大的FP树,有效解决了传统FP-Growth算法及其一些改进算法中因单机内存存储不下庞大的FP树而导致算法失效的问题。同时,由于所划分的子数据库规模接近,分发到各节点机上的负载更均衡,使得算法效率更高。

关键词：频繁项集 FP-growth 大数据 mapreduce编程模型

来源：评论

学校读者我要写书评

暂无评论

Hadoop环境下基于并行熵的FIUT算法挖掘

引用

计算机工程与设计 2019年第3期40卷 685-690,787页

作者：晏依徐苏南昌大学信息工程学院江西南昌330031

针对传统频繁项集挖掘算法效率低下的问题,提出基于Hadoop平台的并行BMR-FIUT算法。通过引入FIU-Tree(frequent items ultrametric tree)结构挖掘频繁项集,避免传统算法的缺陷;改进FIUT算法的分解过程,使之适应于Map-Reduce框架下的并... 详细信息

针对传统频繁项集挖掘算法效率低下的问题,提出基于Hadoop平台的并行BMR-FIUT算法。通过引入FIU-Tree(frequent items ultrametric tree)结构挖掘频繁项集,避免传统算法的缺陷;改进FIUT算法的分解过程,使之适应于Map-Reduce框架下的并行计算,达到并行化的目的;利用并行熵作为集群系统的负载均衡度量,使系统尽可能在各节点间合理分发数据以平衡负载。实验结果表明,BMR-FIUT算法能够有效减少并行化过程中节点负载倾斜的问题,较现有的PFP-Growth算法具有更好的性能,适用于海量数据挖掘。

关键词：数据挖掘频繁项集 mapreduce编程模型 FIUT算法并行熵负载均衡

来源：评论

学校读者我要写书评

暂无评论

一种基于mapreduce的并行PSO-BP神经网络算法

引用

科技通报 2017年第4期33卷 110-115页

作者：崔红艳曹建芳史昊忻州师范学院计算机科学与技术系山西忻州034000 太原科技大学计算机科学与技术学院太原030024

为了提高BP神经网络算法的分类准确率和运行时间效率,利用PSO算法和并行化设计的思想,提出了Hadoop平台下基于mapreduce的PSO优化BP神经网络的并行化设计及实现方法。利用PSO算法优化BP神经网络的初始权值和阈值,提高算法分类准确率;采... 详细信息

为了提高BP神经网络算法的分类准确率和运行时间效率,利用PSO算法和并行化设计的思想,提出了Hadoop平台下基于mapreduce的PSO优化BP神经网络的并行化设计及实现方法。利用PSO算法优化BP神经网络的初始权值和阈值,提高算法分类准确率;采用mapreduce并行编程模型实现算法的并行化处理,解决了BP神经网络在处理大规模样本数据集时存在的硬件开销和通信开销大的问题。选用SUN Database场景图像库构造了5个不同规模的数据集,通过与传统的串行PSO-BP神经网络算法实验对比,并行化的PSO-BP神经网络算法分类准确率达92%左右,系统效率在0.85左右,在处理大规模数据集时具有明显的优越性。

关键词： PSO算法 BP神经网络 mapreduce编程模型 Hadoop平台并行化处理大规模数据集

来源：评论

学校读者我要写书评

暂无评论

基于mapreduce的并行关联规则增量更新算法

引用

计算机工程 2016年第2期42卷 21-25,32页

作者：程广王晓峰上海海事大学信息工程学院上海201306

为解决传统关联规则挖掘算法在大数据环境下运行效率较低的问题,基于频繁模式增长(FP-growth)算法,提出一种面向大数据的并行关联规则增量更新算法。利用mapreduce编程模型与云计算平台,对FP-growth算法各步骤进行并行化处理。在增量更... 详细信息

为解决传统关联规则挖掘算法在大数据环境下运行效率较低的问题,基于频繁模式增长(FP-growth)算法,提出一种面向大数据的并行关联规则增量更新算法。利用mapreduce编程模型与云计算平台,对FP-growth算法各步骤进行并行化处理。在增量更新挖掘过程中,使用已有的频繁项集和1-项集对新增事务集构建频繁模式树,通过扫描原始事务数据库完成频繁项集的更新。实验结果表明,与传统关联规则挖掘算法相比,该算法具有更高的挖掘效率和扩展性,适用于海量数据的关联规则增量挖掘。

关键词：大数据云计算 mapreduce编程模型频繁项集增量更新关联规则

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：