检索结果-内蒙古大学图书馆

您好，读者！请登录

内蒙古大学图书馆

首页
概况
党建
资源
服务
科研支持
- 论文收录引用证明
- 科技查新
知识产权
档案馆
帮助

咨询与建议

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

您的常用邮箱：*

您的手机号码：*

问题描述：

当前已输入0个字，您还可以输入200个字

全部搜索
期刊论文
图书
学位论文
标准
纸本馆藏
外文资源发现
数据库导航
超星发现

高级检索

时间限定

出版年份：

文献类型

图书期刊文献学位论文多媒体

馆藏选择

电子馆藏纸本馆藏

核心期刊

全部期刊 SCI 收录期刊 SSCI 收录期刊 EI 收录期刊 CSCD 收录期刊 CSSCI 收录期刊

语言

中文英文

文献类型

期刊文献图书学位论文标准纸本馆藏

帮助

文字说明：

T=题名（书名、题名），A=作者（责任者），K=主题词，P=出版物名称，PU=出版社名称，O=机构（作者单位、学位授予单位、专利申请人），L=中图分类号，C=学科分类号，U=全部字段，Y=年（出版发行年、学位年度、标准发布年）

检索规则说明：

AND代表“并且”；OR代表“或者”；NOT代表“不包含”；(注意必须大写,运算符两边需空一格)

检索范例：

范例一：(K=图书馆学 OR K=情报学) AND A=范并思 AND Y=1982-2016
范例二：P=计算机应用与软件 AND (U=C++ OR U=Basic) NOT K=Visual AND Y=2011-2016

分类表

所选分类

>> <<

限定检索结果

文献类型

46 篇 期刊文献
41 篇 专利
37 篇 学位论文
11 篇 会议

馆藏范围

135 篇 电子文献
0 种 纸本馆藏

日期分布

学科分类号

88 篇 工学
- 74 篇 计算机科学与技术...
- 46 篇 软件工程
- 9 篇 机械工程
- 2 篇 电子科学与技术（可...
- 2 篇 信息与通信工程
- 2 篇 控制科学与工程
- 1 篇 力学（可授工学、理...
- 1 篇 仪器科学与技术
- 1 篇 电气工程
- 1 篇 测绘科学与技术
- 1 篇 地质资源与地质工...
- 1 篇 环境科学与工程（可...
- 1 篇 网络空间安全
14 篇 管理学
- 14 篇 管理科学与工程(可...
4 篇 理学
- 2 篇 数学
- 1 篇 地理学
- 1 篇 生态学
2 篇 经济学
- 2 篇 应用经济学
1 篇 农学
- 1 篇 农业资源与环境
1 篇 艺术学
- 1 篇 设计学（可授艺术学...

主题

94 篇 并行编程模型
12 篇 多核处理器
12 篇 并行计算
9 篇 mapreduce
5 篇 云计算
5 篇 图形处理器
4 篇 体系结构
3 篇 多核
3 篇 科学计算
3 篇 性能优化
3 篇 openmp
3 篇 虚拟化
2 篇 负载均衡
2 篇 sw26010
2 篇 线程级并行
2 篇 多核计算
2 篇 mpi
2 篇 国产众核处理器
2 篇 混合高斯背景建模
2 篇 消息传递

机构

8 篇 中国科学技术大学
7 篇 西安电子科技大学
4 篇 华中科技大学
4 篇 国防科学技术大学
4 篇 华南理工大学
3 篇 中国科学院大学
3 篇 国防科技大学
3 篇 中国科学院研究生...
3 篇 解放军信息工程大...
3 篇 上海大学
3 篇 安徽省高性能计算...
3 篇 北京理工大学
2 篇 东南大学
2 篇 桂林电子科技大学
2 篇 华北电力大学
2 篇 天津大学
2 篇 国家电网公司
2 篇 西安交通大学
2 篇 南京大学
2 篇 广西师范学院

作者

3 篇 郑启龙
3 篇 王昊
3 篇 房明
3 篇 吴晓伟
3 篇 汪胜
3 篇 王向前
3 篇 杜江
2 篇 邹昱
2 篇 彭思远
2 篇 孙希延
2 篇 王文娟
2 篇 dong xiao-she
2 篇 李庆
2 篇 白杨
2 篇 柴晓明
2 篇 郭辉
2 篇 窦成龙
2 篇 徐杰
2 篇 王京
2 篇 郭佳

语言

135 篇 中文

检索条件"主题词=并行编程模型"

共 135 条记录，以下是61-70 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

自适应混合高斯背景建模算法的GPU并行优化研究

自适应混合高斯背景建模算法的GPU并行优化研究

引用

作者：钟俊杰华中科技大学

学位级别：硕士

运动目标检测是视频跟踪和分析的基础,其中一个首要而关键的任务是从视频序列中确定运动目标。背景消减法是目前确定运动目标最常用的方法,其核心是将当前包含运动目标的视频帧和一个背景参考帧相差,将其中差值较大的像素区域标记为运... 详细信息

运动目标检测是视频跟踪和分析的基础,其中一个首要而关键的任务是从视频序列中确定运动目标。背景消减法是目前确定运动目标最常用的方法,其核心是将当前包含运动目标的视频帧和一个背景参考帧相差,将其中差值较大的像素区域标记为运动目标。在背景建模各方法中,混合高斯建模方法是公认的检测效果和适应性都较好的方法,但其所需计算量巨大,难以实时实现。图形处理器(GPU)通过大量的流计算单元为加速此类应用提供了新的计算平台,因而针对GPU平台,挖掘背景建模算法的并行性并进行优化,以提高实时性,对于扩展其应用范围和降低应用成本,具有重要意义。通过利用GPU平台上的CUDA编译环境,从线程级并行和异步流处理并行两个方面对自适应混合高斯背景建模算法进行并行化改进。线程级并行化主要是利用CUDA的内核函数(kernel),将原算法里的每一个像素的背景更新过程映射到GPU的一个流处理单元上进行处理,通过多线程的并行执行,来加速计算速度。异步流处理优化借鉴了流计算的边传输边计算的思想,通过隐藏数据传输所带来的时延来加速计算过程。这里利用CUDA编程模型中的流概念,通过创建多个流,使每个流之间的数据传输和计算可以重叠进行,这样就从整体上获得了计算性能的提升,达到了加速的效果。同时,对每个像素的模型参数按照行序优先的规则以分块方式进行组织存放,以配合多流并行处理时内核函数处理数据的需要,保证内核函数能及时存取所需要的数据。在采用了CUDA线程级并行化后,通过对分辨率分别为384×288、640×272、720×576、1280×720和1920×1080的视频进行测试,结果表明,在Debug模式下平均建模时间分别快了40.932ms、94.656ms、228.012ms、547.759ms和861.459ms;而在Release模式下的平均建模时间分别快了10.362ms、33.421ms、71.594ms、173.609ms和156.02ms。在此基础上,以采用8个数据流为参照,进一步进行异步流处理优化后,在Release版本下的测试结果表明:在5种分辨率下,平均建模时间比优化前分别又快了2.640ms、3.769ms、10.703ms、19.331ms和55.335ms。由此可见,在GPU平台上通过线程级并行化和异步流处理优化后,确实可以大幅度地加速混合高斯背景建模算法的执行过程。本文研究工作得到国家自然科学基金项目:嵌入式多媒体流计算的自适应机制与跨层优化(编号:60873029)和华中科技大学自主创新研究基金(编号:2010MS014)的支持。

关键词：混合高斯背景建模流计算线程级并行图形处理器并行编程模型

来源：评论

学校读者我要写书评

暂无评论

面向异构处理器的代价模型及存储优化技术研究

面向异构处理器的代价模型及存储优化技术研究

引用

作者：黄品丰解放军信息工程大学

学位级别：硕士

异构处理器在高性能计算领域的应用越来越广泛。它在单芯片上集成了不同类型的处理器核,为并行计算提供了巨大潜力,但也带来了巨大挑战。人们需要掌握更高级的编程模型和更丰富的体系结构知识才能编写出充分利用异构资源的并行代码。这... 详细信息

异构处理器在高性能计算领域的应用越来越广泛。它在单芯片上集成了不同类型的处理器核,为并行计算提供了巨大潜力,但也带来了巨大挑战。人们需要掌握更高级的编程模型和更丰富的体系结构知识才能编写出充分利用异构资源的并行代码。这对普通程序员来说是很困难的。于是并行化编译成为快速获得高效并行程序的主要途径。目前面向异构架构的并行化编译技术已经取得丰硕的研究成果,但仍有很多问题亟待分析与解决。本文以OpenACC异构并行代码为目标,探讨自动并行化过程中所涉及的代价模型和存储优化问题。主要研究内容包括： 1、针对传统编译框架无法满足新型体系结构的需求问题,设计了面向某国产异构处理器的并行化编译框架,并实现了它的原型系统Auto-ACC.该系统利用面向异构结构的并行代价模型进行并行循环识别和并行区优化,并使用若干存储优化方法把循环引用的数据合理地划分到从核局部存储,最终生成可在异构处理器上运行的高效并行代码。实验表明,该系统能够正确生成OpenACC并行代码,并在目标平台上获得较高的性能。 2、针对现有并行代价模型在评估循环的异构并行性能时存在诸多不足的问题,提出了面向异构结构的代价评估模型。该模型根据异构处理器的特征,引入参数描述主从核不同运算能力、主局存不同访问延迟以及数据传输对循环执行时间的影响,提高了循环并行收益评估的准确性。实验表明,该模型有效减少了负收益循环的并行,提升了生成的并行程序性能。 3、针对有限局部存储空间的利用问题,提出了面向局部数据存储器的多级自适应存储优化框架。该框架通过五种存储优化方法,对并行循环引用的数据进行高效的管理：(1)通过数组分块对循环数组进行划分,使划分后的数据块满足局部存储容量的限制。(2)通过数组访问模式指导的数据分布,把规则访问数组的计算所需元素提取传进局部存储,把不规则访问数组映射到软件cache。(3)通过数组转置改变访问不连续的数组的各维存储顺序,使数组以与循环嵌套访问方式一致的存储方式存储,从而将不连续访存转换为连续访存。(4)通过标量聚集把多个零散标量的传输聚集为一个数据单元传输,减少数据传输次数,提高标量传输效率。(5)通过创建加速数据区,把循环嵌套内的数据传输操作转移到循环嵌套外进行,使得数据传输仅发生在循环计算开始前和结束后,避免外层串行循环迭代计算时内层并行循环的多次数据拷贝。实验表明,这些存储优化方法从不同层次、不同粒度优化了数据的传输、存储和访问,使生成的OpenACC并行程序性能得到不同程度的提高。

关键词：异构处理器并行化编译异构架构并行编程模型并行代价模型存储优化

来源：评论

学校读者我要写书评

暂无评论

大数据处理中间数据模型与管理机制研究

大数据处理中间数据模型与管理机制研究

引用

作者：易龙中国科学院大学

学位级别：硕士

目前，大数据处理的解决方法主要通过分布式数据处理方式完成。为了快速、简洁、高效的开发各种大数据处理应用，提高大数据处理应用在分布式环境下运行时的可靠性，可扩展性和易用性，学术界和业界针对各类大数据应用提出了各种并行编... 详细信息

目前，大数据处理的解决方法主要通过分布式数据处理方式完成。为了快速、简洁、高效的开发各种大数据处理应用，提高大数据处理应用在分布式环境下运行时的可靠性，可扩展性和易用性，学术界和业界针对各类大数据应用提出了各种并行编程模型，分别研究不同并行编程模型，并总结出并行编程模型是由处理逻辑、中间数据组织和中间数据传输模式三部分构成。伴随大数据处理的不断发展，大数据应用逻辑也在不断复杂化。应用逻辑的复杂化致使很多应用很难直接快速地映射到并行编程模型上，造成应用以非常低效的方式转化成为多个作业在集群中执行。\n 此外，并行编程模型三大部分的紧耦合加大了并行编程模型的开发难度，削弱并行编程模型对应用多样化的适应性，进而迫使大量应用转化成为多个作业执行，无法实现多个相关应用的合并处理。这些还会造成原本只需一次访问分布式文件系统就能得到多个处理结果的处理逻辑，需要拆分成多个作业通过多次访问分布式文件系统完成。所有的这些都增加了集群IO压力，降低集群生产效率，造成集群缺乏兼容性。\n 本文针对大数据并行编程模型和大数据处理特性进行了深入分析，得出并行编程模型的处理逻辑与中间数据组织和中间数据传输模式是可以完全解耦的。为了提高并行编程模型的可扩展性，加速并行编程模型开发的效率，提高大数据处理平台的灵活性，本文将并行编程模型分割成为两大部分即处理逻辑控制，和中间数据组织与传输模型，将大数据并行编程模型的开发彻底与中间数据的组织和传输模式剥离。总结一下，本文的主要贡献如下:\n 1.提出了并行编程模型的解耦实现，将处理逻辑与中间数据组织以及传输模型完全分割成为了两个部分。并行编程模型只完成处理逻辑的控制，而中间数据的组织和传输模式由并行编程模型动态定制。\n 2.提出了对大数据处理中间数据组织和传输模式的统一抽象模型，即分布式Key Value对象(DKVO)。并证明了分布式Key Value对象根据不同的实现可以支撑多数现有大数据处理应用。\n 3.提出了基于分布式Key Value对象模型的自由可扩展编程模型。该并行编程模型可以支持多路分支，多路合并和迭代循环等多样复杂的处理逻辑。\n 4.综合以上的研究和设计，实现了一套基于分布式Key Value对象模型的DKVO系统，包括基于磁盘缓存的和基于内存缓存的DKVO。实现了一套可以运行基于DKVO的自由可扩展编程模型作业的大数据处理系统。

关键词：大数据处理中间数据管理并行编程模型自由可扩展 MapReduce Hadoop

来源：评论

学校读者我要写书评

暂无评论

基于MDSP的并行MPEG-4视频编码器的设计与实现

基于MDSP的并行MPEG-4视频编码器的设计与实现

引用

作者：王旭群国防科学技术大学

学位级别：硕士

随着数字电视、网络视频流和DVD技术的广泛应用,视频压缩已经成为了广播和娱乐媒体的最基本的组成部分。MPEG-4标准经过多年的发展,已经成为目前最为成熟的视频编码标准,广泛应用于数字电视、动态图像、实时多媒体监控、基于内容存储和... 详细信息

随着数字电视、网络视频流和DVD技术的广泛应用,视频压缩已经成为了广播和娱乐媒体的最基本的组成部分。MPEG-4标准经过多年的发展,已经成为目前最为成熟的视频编码标准,广泛应用于数字电视、动态图像、实时多媒体监控、基于内容存储和检索的多媒体系统、基于面部模型的视频会议和演播电视等。为了满足实时高效编码的需求,实现基于多核处理器上的视频编码成为了当前研究的热点。本文在深入研究多核芯片MDSP体系结构和MPEG-4视频编码标准中各种算法的基础上,设计并实现了基于MDSP的并行MPEG-4视频编码器,取得较高的性能加速比。本文的主要工作和成果包括以下几个方面。 1.深入研究MPEG-4视频编码标准,对编码过程中的各种算法进行细致的分析,实现了MPEG-4简单档次的软件视频编码器; 2.深入研究MDSP体系结构,对MDSP内部各处理器之间不同通信方式的性能进行统计与分析,设计了基于MDSP的并行编程模型和数据通信方案; 3.详细分析了视频编码过程中各步骤存在的数据相关性,针对MDSP体系结构的特点,设计并实现了并行MPEG-4视频编码器,提出一种结果数据组装的方法,实现结果数据的组装,输出最终的结果。 4.根据MDSP在RTL级实验平台上对多核和单核视频编码器效率的统计,对多核与单核编码器性能进行了比较。

关键词： MDSP MPEG-4 并行编码器并行编程模型

来源：评论

学校读者我要写书评

暂无评论

面向异构结构的OpenMP代价模型和基于有利性的循环交换

面向异构结构的OpenMP代价模型和基于有利性的循环交换

引用

作者：王鹏翔解放军信息工程大学

学位级别：硕士

异构结构处理器凭借良好的计算性能在高性能计算领域受到了越来越多的重视。它在单芯片上拥有通用处理器和专用处理器,有利于提高并行计算能力,但是它也面临着很大的挑战。编程人员需要熟悉异构处理器的体系结构和编程知识,以便充分的... 详细信息

异构结构处理器凭借良好的计算性能在高性能计算领域受到了越来越多的重视。它在单芯片上拥有通用处理器和专用处理器,有利于提高并行计算能力,但是它也面临着很大的挑战。编程人员需要熟悉异构处理器的体系结构和编程知识,以便充分的利用异构计算资源,但对于普通编程人员却难以熟练掌握。因此并行编译技术成为获得并行程序的主要方法。目前针对异构结构处理器的并行化编译技术已经取得了很多的研究成果,但仍有许多问题需要解决。本文探讨了异构结构的OpenMP的代价模型和并行化过程中涉及到的循环交换问题。研究内容包括以下两个方面:(1)针对现有代价模型未能考虑异构结构处理器和编程模型的问题,设计了面向异构处理器的OpenMP并行化编译代价模型,该代价模型由处理器模型、缓存模型和并行模型构成。其中并行代价模型根据OpenMP并行编程模型的特点进行建模。面向异构结构的并行代价模型可以帮助编译器识别加速循环。实验表明,该代价模型可以加速程序的运行效率,并在目标平台上获得较高的性能。(2)针对嵌套循环实施循环交换后可能出现循环并行性下降的问题,设计了一个基于有利性的循环交换算法,该算法首先根据循环的数据局部性进行循环交换,然后判断循环并行的收益,并根据收益情况进行循环切分,最后将切分后的循环再实施循环交换,并搜索并行性最大的循环次。实验表明,利用循环交换算法可以帮助编译器选择合适的循环交换次序,提高了程序的并行性。最后在GCC编译器中构建了代价模型,并实现了基于有利性循环交换算法,并在国产处理器上进行了实验测试,测试结果表明了方法的有效性。

关键词：异构架构并行编程模型并行代价模型循环交换数据局部性

来源：评论

学校读者我要写书评

暂无评论

AceMesh动态数据流模型中的图重用优化

AceMesh动态数据流模型中的图重用优化

引用

作者：赛孟娜山东科技大学

学位级别：硕士

近年来，众核、多核处理器不断发展，为了能够充分地挖掘和利用众核、多核处理器的计算能力，降低并行编程难度，提高并行计算效率，数据流驱动的并行编程模型逐渐成为高性能计算领域的研究热点。　　AceMesh并行编程模型是由中国科学... 详细信息

近年来，众核、多核处理器不断发展，为了能够充分地挖掘和利用众核、多核处理器的计算能力，降低并行编程难度，提高并行计算效率，数据流驱动的并行编程模型逐渐成为高性能计算领域的研究热点。　　AceMesh并行编程模型是由中国科学院计算技术研究所针对众核、多核平台研发的一种数据流驱动的并行编程模型，该模型将整个计算任务抽象为数据流图，以数据驱动的方式来处理计算。基于AceMesh编程模型在实际应用中发现存在构图占比大以及细粒度任务扩展性差的问题，本文提出图重用的概念，使运行时调度系统尽可能重复使用已构建好的任务图。　　论文的主要工作包括三个方面:　　1.为AceMesh提供基本的图重用功能的支持。由于基于迭代模型的高性能应用在迭代间任务图极为相似(甚至完全相同)，本文提出狭义图重用模式作为图重用功能的基本实现。对狭义图图重用所需的编译支持和运行时支持进行分析，并给出设计方案。　　2.为打破狭义图重用通用性差的局限性，提出广义图重用的概念，并从编译支持和运行时支持两个方面给出广义图重用的设计方案与具体实现。　　3.为打破图重用功能不支持嵌套任务图的局限性，本文提出了嵌套图重用的概念。从嵌套图的特点出发，对影响图重用决策的因素进行分析，给出嵌套图重用的设计方案与具体实现。　　为了验证本文的工作效果，分别对狭义图重用、广义图重用以及嵌套图重用的效果进行实验测试和评估，并对广义图重用以及嵌套图重用集成后的效果进行测试。测试结果证明，本文提出并实现的上述任务图重用功能均为AceMesh编程模型带来显著的性能提升。

关键词：数据流并行编程模型图重用并行优化

来源：评论

学校读者我要写书评

暂无评论

多核处理器设计研究

多核处理器设计研究

引用

作者：董岚南京大学

学位级别：硕士

随着半导体工艺的发展，在单一芯片上集成多个处理器核已成为可能，在高端应用需求的驱动下，片上多核系统为高度并行的计算和通信提供了一种可行的解决方案。从上世纪90年代开始，多核处理器逐渐从研究领域进入商业应用，在这个处理器... 详细信息

随着半导体工艺的发展，在单一芯片上集成多个处理器核已成为可能，在高端应用需求的驱动下，片上多核系统为高度并行的计算和通信提供了一种可行的解决方案。从上世纪90年代开始，多核处理器逐渐从研究领域进入商业应用，在这个处理器更新换代的时期，各种新兴的小公司开始崭露头角，夺走了不少原来被世界几大处理器公司垄断的市场份额。这启发着我们要及时抓住时代发展的契机，使中国在多核处理器时代能够进入项尖水平的行列，在处理器领域不再受制于人。\n 本文设计了两款基于不同通信架构的多核处理器系统。一款基于AMBA-AHB总线架构，是一个层次化的多核模型，每个核在本地总线中具有各自的私有存储器，存放启动代码、应用程序和私有数据；在全局总线中所有核共享一个全局存储器存放共享数据，一个同步存储器存放同步信息；本地总线通过AHB-AHB桥与全局总线进行通信和数据交换。另一款基于片上网络通信架构，本地系统与总线架构下的相同，本地系统、全局存储器和同步存储器通过各自的网络接口模块连接到片上网络的通信节点上。文中以四核为例，分别对这两个体系架构进行了RTL级建模，并实现了FPGA原型。\n 除了硬件架构以外，并行化软件设计是多核处理器领域另一个重要的研究方向。本文以传统的串行JPEG解码程序为例，针对四核处理器架构进行任务分解，实现了粗粒度和细粒度两种并行化方案，然后以此为应用对两个四核处理器FPGA原型进行了功能验证。理论计算和实际运行表明JPEG解码的内在特性使它在粗粒度的并行情况下能够达到更好的性能，总线结构的最大加速比是2.23，片上网络结构的最大加速比是2.17。\n 在研究了简单的层次化总线结构和片上网络结构之后，本文以SystemC语言设计了一款基于层次化片上网络通信架构的64核网络处理器的系统级模型，其中通信节点采用了独特的包/电路交换策略，兼顾了整个系统对高带宽和高实时性的要求，并以IPv4数据包为例介绍了其处理网络数据包的基本流程。然后简单介绍了多核处理器系统的并行编程模型，并以本文层次化片上网络通信架构多核处理器为基础，规划了一个并行编程模型的实施蓝图。最后，定义了一套面向层次化多核处理器的软/硬件协同开发平台的方案，目标在于实现系统开发流程的并行化和自动化，以提高本项目多核处理器设计的效率和成功率。\n 本文的研究集中在多核处理器的硬件架构设计上，并兼顾并行编程和开发环境的设计，致力于实现一款高性能、低成本的基于层次化NoC通信架构的64核网络处理器，同时解决开发过程对统一平台的需求问题，为本项目的后续发展奠定了良好的基础。

关键词：多核处理器层次化总线片上网络并行编程模型

来源：评论

学校读者我要写书评

暂无评论

基于MapReduce的并行决策树分类算法研究与实现

基于MapReduce的并行决策树分类算法研究与实现

引用

作者：朱敏江西师范大学

学位级别：硕士

分类是数据挖掘和机器学习等领域中一个非常重要的研究课题,在众多领域中都得到了广泛的应用。当前已经提出的分类方法主要有贝叶斯分类、决策树、神经网络、支持向量机等,其中决策树方法以其构造速度快、生成模式简单、精度高等优点而... 详细信息

分类是数据挖掘和机器学习等领域中一个非常重要的研究课题,在众多领域中都得到了广泛的应用。当前已经提出的分类方法主要有贝叶斯分类、决策树、神经网络、支持向量机等,其中决策树方法以其构造速度快、生成模式简单、精度高等优点而广受欢迎。目前影响较大的决策树算法主要有ID3、SLIQ、SPRINT等。由于决策树分类模型精准程度直接依赖于训练数据集的大小,在处理海量数据时就会遇到时间复杂度过高的瓶颈,使其很难得到推广。因此,决策树分类算法的并行化开发就显得非常必要。本论文基于MapReduce并行编程模型对决策树分类算法的并行化进行了系统的研究。论文首先研究了各种串行决策树分类算法的主要思想,同时对现有的并行编程模型进行了全面的研究、分析和比较,发现MapReduce模型是一种适用于大规模数据并行计算的并行编程模型。在对决策树分类算法的并行性开发时,主要通过将训练数据集在各处理机上进行划分、并行地确定结点的最佳分裂属性以及并行地分割属性列表到各个子结点来实现。论文分别研究了三种MapReduce实现架构下并行决策树分类算法的设计,并在Phoenix共享内存架构上对SPRINT算法进行了具体的并行实现。通过实验分析和比较,结果表明本文研究的方法和实现不仅比基于MPI并行编程模型的同类决策树算法的实现编程更容易,而且在计算节点较多的情况下能得到更优的性能,获得更大加速比。

关键词：决策树分类 SPRINT 并行编程模型 MapReduce Phoenix架构

来源：评论

学校读者我要写书评

暂无评论

Hadoop MapReduce Shuffle过程优化方案研究

Hadoop MapReduce Shuffle过程优化方案研究

引用

作者：黄开科华中科技大学

学位级别：硕士

Hadoop MapReduce是基于Google提出的MapReduce模型实现的一个开源分布式编程框架。通过对Hadoop MapReduce作业运行过程中数据传输阶段的源码详细分析得出,MapReduce系统在传输中间数据过程中每个Map任务和Reduce任务之间都要建立一条... 详细信息

Hadoop MapReduce是基于Google提出的MapReduce模型实现的一个开源分布式编程框架。通过对Hadoop MapReduce作业运行过程中数据传输阶段的源码详细分析得出,MapReduce系统在传输中间数据过程中每个Map任务和Reduce任务之间都要建立一条链接,因此包含多个Map任务和Reduce任务的大型作业运行过程中集群中由于数据传输的原因存在大量网络链接,容易导致网络拥塞从而使作业运行变慢。部分Map任务中单个键值对数据量很小,和Reduce任务建立链接后只传送少量数据,链接利用率不高。此外,Hadoop默认使用HTTP网络进行数据传输,低速的网络协议也是限制系统性能的因素。为了减轻MapReduce过程中大量网络链接造成的网络负荷,进一步优化Hadoop数据混洗阶段网络I/O过程,一种改进方案就是将Map任务进行分组,分组中的数据先进行合并。在每组Map任务中选出一个代表将组内其他任务的输出数据统一收集起来,Reduce任务直接从这一个Map任务就可以得到整个组的数据。通过读Shuffle服务调度器的改写利用特定的分组策略实现对Map任务分组,可以极大减少集群运行过程中Map任务和Reduce任务之间的数据传输链路,同时由于分组使得数据聚集,最终Map输出数据中单个分片对应的数据量增加,对应的链接进行传输的数据量也相应增加,提高了链接利用率。同时使用高速RDMA网络协议代替原来的HTTP网络协议作为节点之间数据交换的方式可以进一步提高Hadoop系统性能。系统测试结果显示,这种方案对于系统运行性能有一定提升,尤其当集群同时运行其他计算框架,网络繁忙的情况下,改进后的系统性能下降并不明显,网络资源的竞争对系统影响不大。而经过RDMA网络加速后的MapReduce系统性能提升明显。

关键词：分布式系统映射规约混洗过程优化并行编程模型

来源：评论

学校读者我要写书评

暂无评论

适于复杂逻辑关系子任务的Hadoop调度系统

适于复杂逻辑关系子任务的Hadoop调度系统

引用

作者：田丰南开大学

学位级别：硕士

由通用机器组成的大规模集群作为并行计算的有效途径之一，广泛应用于科学及工程中的计算模拟、海量数据处理等复杂问题中。并行编程模型是并行计算及开发并行软件的基础，是决定并行程序运行的关键因素之一。现有的编程模型针对特定的... 详细信息

由通用机器组成的大规模集群作为并行计算的有效途径之一，广泛应用于科学及工程中的计算模拟、海量数据处理等复杂问题中。并行编程模型是并行计算及开发并行软件的基础，是决定并行程序运行的关键因素之一。现有的编程模型针对特定的计算需求，难以有效地通用于不同的应用问题。因此设计一种具有通用性的并行编程模型成为当前研究的重要领域。\n 通过对多种并行编程模型的分析总结，本文提出一种改进的编程模型，适用于在大规模廉价集群上解决广泛的应用问题，特别是具有复杂逻辑关系的子任务。用户通过简单的接口描述各子任务的内容及子任务之间的逻辑关系。模型按照任务的逻辑关系和集群的实时运行情况调度执行任务，最大程度地利用集群的计算资源完成计算。错误处理和推测式执行机制使模型具有较高的可靠性。\n 本文基于Hadoop平台，设计实现了一个原型系统。采用模块化设计，使用Java语言开发。系统分为任务解析、调度和节点通信模块三部分，各模块之间功能划分清晰，具有良好的可移植性和扩展性。实验结果表明，系统可以稳定地运行在异构的廉价集群上，正确地解析任务的内容并在集群中调度执行。在部分子任务执行失败，或部分节点故障的情况下，可以保证系统正确地完成计算。与MapReduce模型相比，改进模型可以合理地描述任务并充分利用集群的计算资源，矩阵相乘和大数分解问题的运行时间分别缩短64.2％和20.3％，为复杂的应用问题提供了新的解决方案。

关键词：并行编程模型 Hadoop调度系统软件开发模块化设计

来源：评论

学校读者我要写书评

暂无评论

没有更多数据了...

全选清除本页清除全部题录导出标记到“检索档案”

共14页 << < 3 4 5 6 7 8 9 10 11 12 > >>

检索报告对象比较合并检索0

隐藏清空

合并搜索

回到顶部

执行限定条件

内容：

评分：

请选择保存的检索档案：

请选择收藏分类：

订阅名称：

通借通还

温馨提示：

图书名称：

借书校区：

取书校区：

手机号码：

邮箱地址：

一卡通帐号：

电话和邮箱必须正确填写，我们会与您联系确认。

联系人：

所在院系：

联系邮箱：

联系电话：

内蒙古自治区呼和浩特市赛罕区大学西街235号邮编: 010021

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：