检索结果-内蒙古大学图书馆

作者：亓开元中国科学院大学

学位级别：博士

物联网环境下的传感数据处理应用融合了实时流数据处理和海量历史数据处理的特征。为了得到全面、准确、连续、实时的结果，如何解决面向海量感知数据的实时流处理需求同计算、存储能力不足之间的矛盾，即保障海量数据流处理的可伸缩性... 详细信息

物联网环境下的传感数据处理应用融合了实时流数据处理和海量历史数据处理的特征。为了得到全面、准确、连续、实时的结果，如何解决面向海量感知数据的实时流处理需求同计算、存储能力不足之间的矛盾，即保障海量数据流处理的可伸缩性成为云计算和物联网领域的新挑战。现有的流处理或大规模数据处理方法无法同时满足此类数据处理的实时性、连续性和数据密集性需求，主要表现在:(1)缺乏支持海量数据并行化流处理的编程模型，(2)数据存储和计算资源的组织及利用缺乏与编程模型相适应的设计和优化机制，(3)集群的负载均衡和适应性构造无法得到保障。针对上述问题，本文的主要工作和创新性贡献如下:\n 1.提出了一种支持流处理的数据并行编程模型及其适应性集群构造算法，针对面向海量数据的流处理具有接近线性的伸缩能力。\n 针对面向海量感知数据的实时流处理需求，如何建立灵活可扩展的编程模型是一个基本问题。MapReduce模型能够以并行化方式解决大规模数据处理问题，但无法满足连续、实时的流数据处理需求。文中针对制约MapRduce流处理能力的重复处理、阶段同步和数据传输等瓶颈，通过分析MapReduce的数据模型和运算性质，给出了其可利用缓存、流水化和本地化机制进行实时性改进的理论基础，并提出了一种支持海量数据流处理的编程模型RTMR。理论分析和基准测试实验表明:(1) RTMR具有不弱于key/value代数的表达能力，能够满足key/value类型流数据处理的扩展需求。(2) RTMR继承了MapReduce的数据并行计算特征，具有接近线性的伸缩能力。(3) RTMR利用中间结果缓存、流水线和本地化技术改进了MapReduce的连续、实时流处理能力，吞吐量比HOP和S4分别提高了28.6％和58.5％。在此基础上，提出了一种基于模型分析的适应性RTMR集群构造算法，能够根据应用特征和集群环境配置最优的拓扑结构。\n 2.提出了一种支持海量数据流处理的中间结果缓存结构和阶段流水线反馈控制机制，优化了针对海量数据的高并发流处理性能。\n 针对海量数据并行流处理对中间结果缓存的本地化、大容量和高并发读写需求，提出了一种内存Hash B树、外存SSTable文件的缓存结构，该结构具有可划分性、可扩展性和高效性。在此基础上，利用B树的平衡性特征提出了一种基于概率的B树及其多路查询算法，并利用读写开销估算和缓冲区信息改造了外存读写策略和内外存替换策略。算法分析和基准测试表明，概率B树的并发读写性能高于B树，并且读写策略和替换策略使中间结果的外存读写性能、内存命中率和整体读写性能分别提高了20.5％、13.2％和28.3％。\n 为了充分利用多核CPU增强单个节点的并发处理能力，提出了一种阶段流水线反馈控制机制。其中，批控制使用处理速度作为控制参数调整阶段批处理因子，使CPU Cache得到充分利用;线程池控制综合CPU信息进行阶段间的全局控制，能够消除阶段瓶颈，使CPU的利用率充分转化成性能提升。基准测试表明，上述机制优于SEDA的批控制和线程池控制机制，将阶段流水线的阶段处理速度、吞吐量和整体性能分别提升了42.3％、10.7％和24.2％。\n 3.提出了一种RTMR集群负载均衡算法，提高了应对负载倾斜的反应速度。\n 针对制约RTMR流处理集群可伸缩性的负载倾斜问题，通过建立异构节点的性能模型制定历史数据的初始划分策略，在此基础上将历史数据的动态调整问题建模为一个NP难的0/1规划问题，并提出了一种负载均衡算法RTMR-LB。该算法通过计算节点的负载状态转换关系，仅需O(logn)的时间复杂度就能够将各种负载倾斜问题分解;综合执行时间和数据移动代价作为优化目标，提高了应对负载倾斜的反应速度。理论分析和基准测试实验表明，RTMR-LB算法能够指数式的降低问题求解的复杂度、提升精确性算法的均衡效率，并且适用于1-1型、1-n型和n-n型等各种负载倾斜情况，此外RTMR-LB算法的反应速度也要优于贪心算法和模拟退火算法。\n 基于上述成果，本文设计实现了一个面向海量感知数据的流处理平台，并基于该平台开发、部署了某市车辆监管系统。应用实例和相关分析表明，本文的工作是可行、有效的。

关键词：负载均衡物联网海量感知数据实时流处理并行编程模型适应性集群构造算法

来源：评论

学校读者我要写书评

暂无评论

基于OpenMP的Multi-Critical分子动力学并行算法优化研究

基于OpenMP的Multi-Critical分子动力学并行算法优化研究

引用

作者：段振华重庆邮电大学

学位级别：硕士

分子动力学模拟是一种利用牛顿运动定律来模拟分子运动过程的方法，给定粒子初始状态的位置和速度，通过对运动方程进行积分，从而求得粒子在下一时刻的位置和速度。这样就能记录下每一时刻粒子的位置，获取粒子的运动轨迹，再通过统计... 详细信息

分子动力学模拟是一种利用牛顿运动定律来模拟分子运动过程的方法，给定粒子初始状态的位置和速度，通过对运动方程进行积分，从而求得粒子在下一时刻的位置和速度。这样就能记录下每一时刻粒子的位置，获取粒子的运动轨迹，再通过统计力学的方法得到模拟系统的特性，最后得到物质的宏观性质。因此分子动力学模拟广泛应用于各个领域，如材料力学、生命科学、气候模拟等学科中。\n 为了使分子动力学模拟的计算结果能够更加准确地反映物质的宏观性质，通常需要模拟体系的粒子个数尽可能的多，模拟尽可能长时间的物理化学反应，这使得分子动力学模拟会非常耗费计算时间，并且需要进行模拟的硬件平台拥有更高的计算性能。目前处理器制造商普遍采用在单个处理器上集成更多核心的方式来提升计算性能。为了使模拟计算更加快速与高效，需要将已有分子动力学模拟计算方法进行并行优化，并将其运用到SMP和CMP平台上，以加快模拟过程和缩短模拟时间。\n 本文根据并行计算基本理论，对分子动力学模拟使用OpenMP进行并行算法优化。本文的主要工作如下:\n 首先，介绍了并行计算机理论研究的历史与并行计算机硬件平台的发展，当前主流的并行体系处理器，以及本文所涉及到的共享存储的并行编程模型OpenMP。详细描述了分子动力学模拟算法的原理与步骤，模拟计算的过程和计算过程中需要选取的势函数、积分算法、系综等一系列条件。对处于平衡态的流体使用串行算法进行分子动力学的模拟，并在现有的实验环境下选择OpenMP并行编程模型来进行算法的优化。\n 其次，分析并行算法中性能的制约点，将其优化。通过研究发现:在对共享力数组进行更新时（称之为Critical算法），同一时刻只有一个线程能进入临界区，其他线程必须等待该线程执行完毕，相当于在这段时间内程序串行执行;同时研究发现在整个模拟过程中，粒子间作用力的计算占整个模拟时间的80％-90％，所以如果将这段操作并行优化，整个模拟的运算时间将会减少，并且效率也会有很大的改进。介于此，本文提出了一种改进方法——Multi-Critical算法，大大提高程序的加速比与并行效率。在Critical算法中，线程在计算完粒子间相互作用力之后，既要更新到共享力数组，又要更新到私有副本数组。此方法除了在临界区内串行执行，降低了模拟的并行效率之外，还对共享数组进行频繁的读写，也降低了程序的效率。Multi-Critical算法将其优化为:线程计算的粒子间作用力更新到该线程私有副本矩阵，并应用分布式竞争的方法，将矩阵的更新分块操作，共享矩阵的更新操作放在不同的临界区内并行执行。该算法在多个Critical section来执行更新共享矩阵的操作，故称之为Multi-Critical算法。\n 最后，通过对不同体系进行了测试，Multi-Critical算法相对Critical算法并行效率和加速比有显著提升。分析性能提升的原因，并进行了理论分析。通过对比计算前后的总能量，验证了算法的正确性，并编写自动化脚本来简化程序的编译与执行。

关键词：分子动力学模拟并行计算多核处理器并行编程模型势函数

来源：评论

学校读者我要写书评

暂无评论

软件/开发工具

引用

今日电子 2012年第12期 71-72页

支持FPGA的OpenCL工具Altera推出FPGA业界用于OpenCL的软件开发套件(SDK),它结合了FPGA强大的并行体系结构以及OpenCL并行编程模型。利用这一SDK,熟悉C语言的系统开发人员和编程人员能够迅速方便的在高级语言环境中开发高性能、高功效... 详细信息

支持FPGA的OpenCL工具Altera推出FPGA业界用于OpenCL的软件开发套件(SDK),它结合了FPGA强大的并行体系结构以及OpenCL并行编程模型。利用这一SDK,熟悉C语言的系统开发人员和编程人员能够迅速方便的在高级语言环境中开发高性能、高功效、基于FPGA的

关键词：开发工具 Altera 套件视频接口 FPGA 并行编程模型 Linux 编程人员运行引擎并行计算 SDK 测试测量

来源：评论

学校读者我要写书评

暂无评论

云计算基础架构综述

引用

电子世界 2012年第18期 13-15页

作者：冯昊邹涛张龙军王伟武警工程大学陕西省警卫局

云计算基础架构是云计算系统的重要组成部分。它通过资源虚拟化、分布式计算等技术为云计算系统搭建基础运营环境并为上层云计算应用提供存储和计算能力。本文通过归纳分析对当前国内外相关研究成果进行了综述。定义了云计算基础架构,... 详细信息

云计算基础架构是云计算系统的重要组成部分。它通过资源虚拟化、分布式计算等技术为云计算系统搭建基础运营环境并为上层云计算应用提供存储和计算能力。本文通过归纳分析对当前国内外相关研究成果进行了综述。定义了云计算基础架构,指出了云基础架构的特点,重点对云基础架构进行了理论抽象,得到了云基础架构结构模型,并对云计算基础架构的主要实现技术进行了研究和分析,指出了其优点及不足。最后对现云计算基础架构的未来发展趋势进行了展望。

关键词：云计算云基础架构虚拟化技术分布式存储系统并行编程模型

来源：评论

学校读者我要写书评

暂无评论

自适应混合高斯背景建模算法的GPU并行优化

自适应混合高斯背景建模算法的GPU并行优化

引用

第八届全国和谐人机环境联合学术会议HHME2012

作者：郭红星钟俊杰余胜生张爱华华中科技大学计算机科学与技术学院

通过利用GPU平台上的CUDA编译环境,从线程级并行和异步流处理并行两个方面对自适应混合高斯背景建模算法进行并行优化。线程级并行化主要是利用CUDA的内核函数(kernel),将原算法里的每一个像素的背景更新过程映射到GPU的一个流处理单元... 详细信息

通过利用GPU平台上的CUDA编译环境,从线程级并行和异步流处理并行两个方面对自适应混合高斯背景建模算法进行并行优化。线程级并行化主要是利用CUDA的内核函数(kernel),将原算法里的每一个像素的背景更新过程映射到GPU的一个流处理单元上进行处理,通过多线程的并行执行来加速计算速度。异步流处理优化利用CUDA编程模型中的流概念,使每个流之间的数据传输和计算重叠进行,隐藏数据传输所带来的时延,从而加速计算过程。实验结果表明,通过线程级并行化和异步流处理优化后,确实可以大幅度地加速混合高斯背景建模算法的执行过程。

关键词：混合高斯背景建模图形处理器流计算线程级并行并行编程模型

来源：评论

学校读者我要写书评

暂无评论

自适应混合高斯背景建模算法的GPU并行优化研究

自适应混合高斯背景建模算法的GPU并行优化研究

引用

作者：钟俊杰华中科技大学

学位级别：硕士

运动目标检测是视频跟踪和分析的基础,其中一个首要而关键的任务是从视频序列中确定运动目标。背景消减法是目前确定运动目标最常用的方法,其核心是将当前包含运动目标的视频帧和一个背景参考帧相差,将其中差值较大的像素区域标记为运... 详细信息

运动目标检测是视频跟踪和分析的基础,其中一个首要而关键的任务是从视频序列中确定运动目标。背景消减法是目前确定运动目标最常用的方法,其核心是将当前包含运动目标的视频帧和一个背景参考帧相差,将其中差值较大的像素区域标记为运动目标。在背景建模各方法中,混合高斯建模方法是公认的检测效果和适应性都较好的方法,但其所需计算量巨大,难以实时实现。图形处理器(GPU)通过大量的流计算单元为加速此类应用提供了新的计算平台,因而针对GPU平台,挖掘背景建模算法的并行性并进行优化,以提高实时性,对于扩展其应用范围和降低应用成本,具有重要意义。通过利用GPU平台上的CUDA编译环境,从线程级并行和异步流处理并行两个方面对自适应混合高斯背景建模算法进行并行化改进。线程级并行化主要是利用CUDA的内核函数(kernel),将原算法里的每一个像素的背景更新过程映射到GPU的一个流处理单元上进行处理,通过多线程的并行执行,来加速计算速度。异步流处理优化借鉴了流计算的边传输边计算的思想,通过隐藏数据传输所带来的时延来加速计算过程。这里利用CUDA编程模型中的流概念,通过创建多个流,使每个流之间的数据传输和计算可以重叠进行,这样就从整体上获得了计算性能的提升,达到了加速的效果。同时,对每个像素的模型参数按照行序优先的规则以分块方式进行组织存放,以配合多流并行处理时内核函数处理数据的需要,保证内核函数能及时存取所需要的数据。在采用了CUDA线程级并行化后,通过对分辨率分别为384×288、640×272、720×576、1280×720和1920×1080的视频进行测试,结果表明,在Debug模式下平均建模时间分别快了40.932ms、94.656ms、228.012ms、547.759ms和861.459ms;而在Release模式下的平均建模时间分别快了10.362ms、33.421ms、71.594ms、173.609ms和156.02ms。在此基础上,以采用8个数据流为参照,进一步进行异步流处理优化后,在Release版本下的测试结果表明:在5种分辨率下,平均建模时间比优化前分别又快了2.640ms、3.769ms、10.703ms、19.331ms和55.335ms。由此可见,在GPU平台上通过线程级并行化和异步流处理优化后,确实可以大幅度地加速混合高斯背景建模算法的执行过程。本文研究工作得到国家自然科学基金项目:嵌入式多媒体流计算的自适应机制与跨层优化(编号:60873029)和华中科技大学自主创新研究基金(编号:2010MS014)的支持。

关键词：混合高斯背景建模流计算线程级并行图形处理器并行编程模型

来源：评论

学校读者我要写书评

暂无评论

基于MapReduce的并行决策树分类算法研究与实现

基于MapReduce的并行决策树分类算法研究与实现

引用

作者：朱敏江西师范大学

学位级别：硕士

分类是数据挖掘和机器学习等领域中一个非常重要的研究课题,在众多领域中都得到了广泛的应用。当前已经提出的分类方法主要有贝叶斯分类、决策树、神经网络、支持向量机等,其中决策树方法以其构造速度快、生成模式简单、精度高等优点而... 详细信息

分类是数据挖掘和机器学习等领域中一个非常重要的研究课题,在众多领域中都得到了广泛的应用。当前已经提出的分类方法主要有贝叶斯分类、决策树、神经网络、支持向量机等,其中决策树方法以其构造速度快、生成模式简单、精度高等优点而广受欢迎。目前影响较大的决策树算法主要有ID3、SLIQ、SPRINT等。由于决策树分类模型精准程度直接依赖于训练数据集的大小,在处理海量数据时就会遇到时间复杂度过高的瓶颈,使其很难得到推广。因此,决策树分类算法的并行化开发就显得非常必要。本论文基于MapReduce并行编程模型对决策树分类算法的并行化进行了系统的研究。论文首先研究了各种串行决策树分类算法的主要思想,同时对现有的并行编程模型进行了全面的研究、分析和比较,发现MapReduce模型是一种适用于大规模数据并行计算的并行编程模型。在对决策树分类算法的并行性开发时,主要通过将训练数据集在各处理机上进行划分、并行地确定结点的最佳分裂属性以及并行地分割属性列表到各个子结点来实现。论文分别研究了三种MapReduce实现架构下并行决策树分类算法的设计,并在Phoenix共享内存架构上对SPRINT算法进行了具体的并行实现。通过实验分析和比较,结果表明本文研究的方法和实现不仅比基于MPI并行编程模型的同类决策树算法的实现编程更容易,而且在计算节点较多的情况下能得到更优的性能,获得更大加速比。

关键词：决策树分类 SPRINT 并行编程模型 MapReduce Phoenix架构

来源：评论

学校读者我要写书评

暂无评论

适于复杂逻辑关系子任务的Hadoop调度系统

适于复杂逻辑关系子任务的Hadoop调度系统

引用

作者：田丰南开大学

学位级别：硕士

由通用机器组成的大规模集群作为并行计算的有效途径之一，广泛应用于科学及工程中的计算模拟、海量数据处理等复杂问题中。并行编程模型是并行计算及开发并行软件的基础，是决定并行程序运行的关键因素之一。现有的编程模型针对特定的... 详细信息

由通用机器组成的大规模集群作为并行计算的有效途径之一，广泛应用于科学及工程中的计算模拟、海量数据处理等复杂问题中。并行编程模型是并行计算及开发并行软件的基础，是决定并行程序运行的关键因素之一。现有的编程模型针对特定的计算需求，难以有效地通用于不同的应用问题。因此设计一种具有通用性的并行编程模型成为当前研究的重要领域。\n 通过对多种并行编程模型的分析总结，本文提出一种改进的编程模型，适用于在大规模廉价集群上解决广泛的应用问题，特别是具有复杂逻辑关系的子任务。用户通过简单的接口描述各子任务的内容及子任务之间的逻辑关系。模型按照任务的逻辑关系和集群的实时运行情况调度执行任务，最大程度地利用集群的计算资源完成计算。错误处理和推测式执行机制使模型具有较高的可靠性。\n 本文基于Hadoop平台，设计实现了一个原型系统。采用模块化设计，使用Java语言开发。系统分为任务解析、调度和节点通信模块三部分，各模块之间功能划分清晰，具有良好的可移植性和扩展性。实验结果表明，系统可以稳定地运行在异构的廉价集群上，正确地解析任务的内容并在集群中调度执行。在部分子任务执行失败，或部分节点故障的情况下，可以保证系统正确地完成计算。与MapReduce模型相比，改进模型可以合理地描述任务并充分利用集群的计算资源，矩阵相乘和大数分解问题的运行时间分别缩短64.2％和20.3％，为复杂的应用问题提供了新的解决方案。

关键词：并行编程模型 Hadoop调度系统软件开发模块化设计

来源：评论

学校读者我要写书评

暂无评论

基于异构模式的云计算关键技术研究

引用

山东科学 2011年第5期24卷 56-62页

作者：张庆科杨波王琳陈贞翔济南大学信息科学与工程学院山东省网络环境智能计算技术重点实验室山东济南250022

结合云计算中Map/Reduce分布式编程技术引入了基于CPU-GPU异构混合并行编程模式,给出了该并行编程模式的原理和实现过程。该模式通过采用CUDA多线程并行机制提高了大规模数据处理的效率。文中对比分析了云计算中两种典型的分布式存储系... 详细信息

结合云计算中Map/Reduce分布式编程技术引入了基于CPU-GPU异构混合并行编程模式,给出了该并行编程模式的原理和实现过程。该模式通过采用CUDA多线程并行机制提高了大规模数据处理的效率。文中对比分析了云计算中两种典型的分布式存储系统GFS和HDFS,最后从宏观角度阐释了云计算虚拟化技术的三层部署架构和基本类型。

关键词：云计算图形处理器(GPU) CUDA 并行编程模型分布式存储虚拟化

来源：评论

学校读者我要写书评

暂无评论

片上网络多核处理器的性能测试与并行编程研究

片上网络多核处理器的性能测试与并行编程研究

引用

作者：徐项沛南京大学

学位级别：硕士

片上多核技术(NoC)作为当代集成电路设计的战略性技术,是当前集成电路领域的研究热点。NoC的核心思想是将以计算机网络通信技术移植到芯片设计中来,从而代替传统的总线通信架构,NoC在可扩展性、可重用性、设计效率、带宽、同步策略等方... 详细信息

片上多核技术(NoC)作为当代集成电路设计的战略性技术,是当前集成电路领域的研究热点。NoC的核心思想是将以计算机网络通信技术移植到芯片设计中来,从而代替传统的总线通信架构,NoC在可扩展性、可重用性、设计效率、带宽、同步策略等方面具有无可比拟的优势,成为解决片上通信问题最有潜力的方案之一多核芯片是处理器技术升级的大方向,因此基于多核处理器的并行软件开发变得非常迫切。本文专注于片上网络多核处理器的性能测试和并行计算技术研究。研究内容包括NoC多核处理器测试软件开发,NoC并行编程模型以及NoC并行编程技术。首先,论文基于项目组自主设计的H3MP-16多核处理器,在Linux操作系统下设计了一套用于测试该处理器性能的流媒体演示系统,该系统使用原始套接字进行数据包收发,实现了ffmpeg的在线传输、同步播放,实现了完全同步、无乱屏并能对丢包率进行统计,对播放速率、效果进行调节的流媒体演示系统,为多核处理器提供了一个良好的测试和演示平台。其次,本文在广泛调研的基础上,对主要的并行编程模型、并行编程语言和并行编译器进行了全面的总结,并在此基础上,分别基于OpenMP编程模型和GPU并行计算,在多核处理器上实现了FFT算法的并行执行,并达到了较高的并行化效率,同时也对并行化效率和并行线程的数目、FFT算法的复杂程度之间的关系进行了研究。另一方面,本文也对如何实现更高的加速比进行了进一步的分析,提出了MPI/OpenMP混合并行编程模型的实验设想,以充分发挥NoC的层次化存储体系优势,同时也探讨了基于GPU的CUDA编程优化措施。目前,NoC的软件设计还停留在初期阶段,本文的工作面向NoC软件开发,致力于探索和解决NoC软件开发过程中可能遇到的问题,为设计基于NoC的软件积累了经验。

关键词：片上网络多核系统软件并行化并行编程模型流媒体演示系统

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：