检索结果-内蒙古大学图书馆

中国科学技术大学学报 2010年第11期40卷 1191-1196页

作者：王昊王向前郑启龙中国电子科技集团公司第三十八研究所安徽合肥230088 中国科学技术大学计算机科学与技术学院安徽合肥230027 安徽省高性能计算重点实验室安徽合肥230026

HPMR(high performance MapReduce)系统是一个采用MapReduce模型的高性能计算软件支撑平台.在进行高性能计算时,HPMR往往需要很多轮Map-Reduce过程,中间的通信过程由KV路由和KV传输组成.KV传输依照KV路由阶段产生的KV路由表进行.HPMR程... 详细信息

HPMR(high performance MapReduce)系统是一个采用MapReduce模型的高性能计算软件支撑平台.在进行高性能计算时,HPMR往往需要很多轮Map-Reduce过程,中间的通信过程由KV路由和KV传输组成.KV传输依照KV路由阶段产生的KV路由表进行.HPMR程序的典型通信特征是每一轮的KV传输以高概率使用上一轮的KV路由表.根据这一特点,提出在HPMR的通信模型中引入推测执行技术,由此减少了KV路由的次数,使得HPMR的通信性能得到大大地提升.

关键词： MapReduce HPMR 推测执行 KV路由 KV传输

来源：评论

学校读者我要写书评

暂无评论

安全优先的推测执行技术研究

安全优先的推测执行技术研究

引用

作者：李沛南中国科学院大学

学位级别：博士

自2018年谷歌安全研究组首次披露幽灵漏洞以来，相关变种层出不穷，揭示了现有高性能处理器中最基本的性能优化机制——推测执行存在严重的安全隐患。持续曝光的变种不仅证明了通用的执行环境中存在安全隐患，也证明了远程服务器、安全... 详细信息

自2018年谷歌安全研究组首次披露幽灵漏洞以来，相关变种层出不穷，揭示了现有高性能处理器中最基本的性能优化机制——推测执行存在严重的安全隐患。持续曝光的变种不仅证明了通用的执行环境中存在安全隐患，也证明了远程服务器、安全执行环境都面临信息泄露的风险。为应对此安全威胁，工业界与学术界迅速提出了多种防御方案。然而，尽管这些方法可以缓解瞬态执行攻击，但依然存在以下几方面缺点:过多的推测执行被堵塞执行，导致较大的性能下降;仅防御部分变种，无法保障安全性;软件透明性被破坏，重新编译软件或操作系统较为费时;引入复杂的硬件结构会影响处理器最大工作频率，带来较多的实现成本。　　为应对推测执行面临的安全威胁，本文提出安全优先的推测执行技术，将安全性引入推测执行的设计。并在保证安全性的前提下，维持推测执行的性能，同时减少防御方案带来的实现开销。具体地，本文的主要贡献如下:　　1.为推测执行引入安全依赖:传统的分支预测、乱序执行等推测执行技术均关注于解决程序中存在的控制依赖与数据依赖，以提升性能为主要设计目标，却忽略了错误推测执行过程中存在的安全风险。为此，本文首次将安全因素引入到推测执行的设计中，提出安全依赖的概念。针对不同类型的推测执行漏洞，为触发推测执行的指令与后续存在安全隐患的指令之间建立依赖关系。并借鉴已有数据依赖关系的检测方法，提出微体系结构设计方案，在推测执行时，动态地识别存在安全隐患的指令。　　2.变无条件推测执行为条件推测执行:在传统的无条件的推测执行中，所有推测执行的指令都会改变微体系结构的状态。攻击者采用已有的侧信道攻击方法，感知错误推测执行时对微体系结构的改变，即可分析出敏感信息。针对这一风险，本文首次提出将无条件地推测执行变为有条件地推测执行。在安全依赖的基础上，通过分析缓存侧信道以及推测执行本身存在的攻击特征，甄别真正存在安全隐患的指令。对于存在安全隐患的指令，禁止其改变微体系结构状态。同时，允许正常推测执行不存在安全风险的指令。从而在保障安全性的基础上，保持推测执行带来的性能优势。　　3.安全推测访问链式数据结构:已有的防御方法大都是基于攻击特征进行分析，判断出可疑的推测执行操作。然而，推测执行中与攻击行为类似的正常访存操作也会被判定为危险，从而导致性能下降。本文发现链式数据结构的访问为现有防御中的性能瓶颈，并首次提出针对性的优化方法。通过使用推测污点追踪的方法识别推测的链式数据结构访问，依据执行历史，识别安全的链式数据结构访问，并允许其推测执行。从而在安全的前提下，进一步提升性能。

关键词：高性能处理器推测执行安全隐患微体系结构状态

来源：评论

学校读者我要写书评

暂无评论

超标量处理器访存指令推测执行优化技术研究

超标量处理器访存指令推测执行优化技术研究

引用

作者：张栚滈北京大学

学位级别：博士

现代处理器通常采用动态指令调度超标量流水线来发掘程序中的指令级并行。但是访存指令——尤其是装载指令——需要较长的执行延迟，从而阻塞了流水线中其他指令的动态执行，因此装载指令执行效率对现代处理器性能至关重要。针对装载指... 详细信息

现代处理器通常采用动态指令调度超标量流水线来发掘程序中的指令级并行。但是访存指令——尤其是装载指令——需要较长的执行延迟，从而阻塞了流水线中其他指令的动态执行，因此装载指令执行效率对现代处理器性能至关重要。针对装载指令执行延迟的优化技术主要分为延迟隐藏技术和延迟降低技术。其中延迟隐藏技术通过并行执行其他无关指令达到隐藏这些访存执行延迟的目标，这需要扩大超标量流水线中指令窗口的容量以及发射宽度。然而受到程序本身指令级并行度的限制，这些技术会降低超标量处理器自身的能效性。同时，随着现代处理器流水线中指令窗口容量的增加，相当一部分装载指令执行时所需要的访存数据已经存在于流水线内，但是还未写入高速缓存或内存中，使得装载指令需要更多的执行延迟来完成访存数据前递、访存相关处理以及访存违例检测等操作。因此，为了提高性能和能效性，如何进一步减少装载指令执行延迟成为现代处理器设计的研究重点。\n 访存延迟降低技术通过发掘访存局部性或者应用推测执行技术达到直接减少装载指令执行延迟的目标。其中装载指令推测执行技术通常采用支持全相联查找的访存指令队列。一方面受到全相联查找队列不可扩展且能效性差的限制，另一方面受到预测技术本身预测准确率的限制，这些技术所能够优化的装载指令占整体动态执行装载指令的比例并不高。本文研究在此基础上进一步优化装载指令推测执行过程，通过增加被优化的装载指令比例达到减少装载指令执行延迟的目标。同时，通过取消全相联查找队列以及避免不必要的访存操作来减少访存指令执行的能耗开销，从而提高处理器的能效性。本文研究的具体内容包括:\n 1)提出一种基于活跃存储指令窗口的推测式访存数据前递机制。传统装载指令推测执行技术性能受限的关键原因在于采用全相联查找访存指令队列来实现访存指令按序提交、存储指令按序访存、访存数据前递以及访存违例检测等诸多操作。复杂设计限制了访存指令队列的容量，进一步限制了被推测技术优化的装载指令数量。本文提出基于活跃存储指令窗口的推测式访存数据前递机制，该机制采用不同结构分别实现上述功能，其中采用先进先出的简单访存指令队列实现访存指令按序提交以及存储指令按序访存，采用活跃存储指令窗口实现访存数据前递，采用装载指令重执行机制实现访存违例检测。分离的结构避免了全相联查找的必要。同时高效的活跃存储指令窗口结构能够大量存储最近得到的存储数据，并尽可能延长这些数据在流水线内停留的时间，从而提高被数据前递的装载指令数量。实现表明，针对SPEC2000及SPEC2006测试程序，在4发射128表项重排序缓冲区的超标量流水线中，该机制相对于传统访存执行流水线有8.51％的性能提升。\n 2)提出一种基于地址标识的快速访存相关检测机制。为了进一步减少访存数据前递的执行延迟，本文提出利用访存地址基址和偏移的快速哈希计算结果来代替准确访存地址进行推测式的访存相关检测，这种快速哈希计算结果被称为地址标识。由于地址标识的计算延迟几乎可以忽略不计，因此可以将访存数据前递提前到地址计算阶段。这样不仅减少了访存数据前递的执行延迟，同时当访存数据前递命中时，避免了不必要的高速缓存访问能耗开销。实验表明，采用了地址标识机制的活跃存储指令窗口设计，相较于原有设计，在性能上有平均3％的提升，同时在访存执行能耗开销上有平均25.71％的下降。\n 3)提出一种基于虚拟过滤缓存的装载指令重执行优化技术。一级高速数据缓存的能耗开销是处理器整体能耗开销的重要组成部分。然而为了保证低命中延迟，一级高速数据缓存通常采用能效性很差的访问方式。过滤高速缓存通过缓存最近被访问的高速缓存行来避免不必要的一级高速数据缓存访问，然而这种降低能耗的方法会导致访存性能的下降。本文提出基于虚拟过滤缓存的装载指令重执行优化技术，利用装载指令重执行流水线中存在的冗余执行过程和冗余存储来缓存最近被访问的高速缓存行，在避免不必要的一级高速数据缓存访问从而降低能耗开销的同时，还尽可能减少一定的装载指令执行延迟。实现表明，经过虚拟过滤缓存优化的装载指令重执行流水线，相较于原有设计，在性能上有5％左右的提升，同时降低了约27％的访存执行能耗开销。\n 4)提出一种基于装载指令推测执行的访存执行流水线结构设计并进行一定设计空间探索。本文综合前述三种优化技术，针对实际UniCore-3处理器提出完整的访存执行流水线设计方案，并分析实际设计中需要考虑的问题并给出解决方案，主要包括:装载指令推测执行错误恢复机制、针对部分命中的装载指令重执行过滤、虚拟地址访问活跃存储指令窗口的影响、访问不可缓存地址的处理以及多核环境下的一些设计约束。最后本文针对该设计方案进行一定的设计空间探索。

关键词：访存数据前递访存违例检测装载指令重执行超标量处理器访存指令推测执行

来源：评论

学校读者我要写书评

暂无评论

基于MapReduce模型的推测执行优化算法

引用

计算机科学 2017年第4期44卷 193-196,212页

作者：黄中平白光伟沈航承骁华志翔南京工业大学计算机科学与技术系南京210009

作为数据中心大规模处理框架,MapReduce集群包含成百上千个节点,多采用推测执行的方法来有效解决并行计算中的掉队任务。针对集群中实时性需求较高并且任务量较小的目标作业,提出基于MapReduce模型的推测执行优化算法,其目的是在满足实... 详细信息

作为数据中心大规模处理框架,MapReduce集群包含成百上千个节点,多采用推测执行的方法来有效解决并行计算中的掉队任务。针对集群中实时性需求较高并且任务量较小的目标作业,提出基于MapReduce模型的推测执行优化算法,其目的是在满足实时性需求的基础上尽量减少目标作业的完成时间。首先通过分析任务模型和时间模型,引入数学0-1规划模型,求得整体作业的完成时间最小;然后设计可以在多项式复杂度内完成的启发式算法,目的是在可用资源允许的范围内尽量逼近最优值;最后通过大量实验模拟验证算法的执行效果。

关键词： MapReduce 并行计算推测执行实时性

来源：评论

学校读者我要写书评

暂无评论

基于MapReduce的推测执行算法

基于MapReduce的推测执行算法

引用

作者：黄中平南京工业大学

学位级别：硕士

随着云计算技术的发展和移动多媒体业务需求的飞速增长，分布式计算在处理多媒体数据中扮演着重要的角色。然而，分布式计算框架如MapReduce往往会因为个别节点任务的处理效率低下而影响整体作业的完成质量。\n 在分布式计算框架MapR... 详细信息

随着云计算技术的发展和移动多媒体业务需求的飞速增长，分布式计算在处理多媒体数据中扮演着重要的角色。然而，分布式计算框架如MapReduce往往会因为个别节点任务的处理效率低下而影响整体作业的完成质量。\n 在分布式计算框架MapReduce的基础上，本文旨在通过调度算法来处理上述任务滞后问题。分析滞后任务产生的原因和特点，通过改进调度算法来实现计算性能的提高。并设计分布式实时多媒体系统来提高云计算平台的资源利用效率。\n 本文的具体研究工作包括:\n (1)提出基于MapReduce模型的推测执行优化算法。在分布式计算模型中一旦产生问题节点，则会导致多媒体业务如视频转码子任务完成时间的增长，从而影响整体的作业完成时间。本算法针对集群中实时性需求较高并且任务量较小的目标作业，提出基于MapReduce模型的推测执行优化算法，目的是在满足实时性需求的基础上尽量缩短目标作业的完成时间。设计可以在多项式复杂度内完成的启发式算法，在资源允许的范围内该算法可以逼近最优值。仿真结果表明该算法能提高资源的利用效率和作业的完成质量。\n (2)提出生存期感知的推测执行调度算法。在推测执行方法的基础上，结合每个作业的期望完成时间，提出一种优化算法，解决MapReduce框架的调度问题，可以有效降低目标作业的完成时间。本算法不但满足了作业的实时性要求，而且在作业遇到掉队任务时，减少了因使用异常监测的方法使得实时性要求较高的作业失败的情况。算法还通过有效的调度，使得每个节点的资源利用情况得到改善，增加了集群环境的计算能力和处理效率。仿真结果表明生存期感知的推测执行调度算法能够有效提高作业的完成数量。\n (3)在深入研究分布式模型后，设计一个分布式实时多媒体系统——视频转码系统。传统的计算存在很多的问题，如计算能力、存储能力和可扩展性都较差，将视频转码的计算任务迁移到云计算环境下可以有效的增加视频转码的处理能力。本文设计的分布式系统，针对现有技术视频转码效率低下，转码质量不尽完善的问题，利用OpenStack和Hadoop的搭建分布式平台，提高了云环境下基础设施资源和虚拟环境的利用情况。

关键词： MapReduce框架推测执行调度算法分布式系统

来源：评论

学校读者我要写书评

暂无评论

异构环境下MapReduce任务推测执行算法研究

异构环境下MapReduce任务推测执行算法研究

引用

作者：叶君炎湖南大学

学位级别：硕士

随着网络信息技术的不断发展,互联网已经在各行各业渗透,而且互联网的用户数目也在不断地增加,这使得互联网数据形成了爆发式地增长,对分布式计算而言也是新的机遇。MapReduce是由Google提出针对海量数据进行处理的分布式并行计算编程模... 详细信息

随着网络信息技术的不断发展,互联网已经在各行各业渗透,而且互联网的用户数目也在不断地增加,这使得互联网数据形成了爆发式地增长,对分布式计算而言也是新的机遇。MapReduce是由Google提出针对海量数据进行处理的分布式并行计算编程模型,它具有并行自动处理作业,编程简单及可靠性高等特点。Hadoop是基于MapReduce的分布式并行开源计算平台,由于其定制和使用简单的特点而被许多科研单位和企业用于海量数据的研究和处理。在Hadoop中分别应用 MapReduce 和 HDFS(Hadoop Distributed File System)来处理和存储海量数据。推测执行是计算和存储高效性和健壮性的保障。它通过执行找出异常的慢任务并将其放于另一个节点备份执行,以达到节省集群资源和降低任务执行时间的目的。推测执行策略现在主要的有基于启发式的LATE和基于自适应MapReduce的SAMR。通过对LATE策略中存在的问题进行总结和分析,LATE推测执行算法只是通过比较某任务的进度速率和所有任务的平均进度速率的大小来决定是否进行推测执行,却没有考虑资源的消耗和负载的变化,于是(Speculative Execution for Benefit of Cluster,SEBC)推测执行算法从集群收益上进行了考虑,对资源进行建模,在考虑节点处理任务类型的基础上进行推测执行。实验表明SEBC能够更加有效地降低作业执行时间及提高集群性能。对SAMR策略执行流程和存在的问题进行深入分析,提出了一种基于随机森林的推测执行算法(Speculative Execution based on Random Forest,SERF),该算法在以YARN为主的新一代Hadoop平台基础上进行建模,运用随机森林机器学习算法对整体集群进行预测,并且把Map任务分成了 nodeLocal,rackLocal,offSwitch三种类型,简单有效地对3类任务执行信息进行了统计和分析,从而对计算节点处理任务的性能有了更加精准的定位,通过实验表明不仅保证了整体集群的收益,而且SERF推测执行算法比SAMR推测执行算法更加精准。

关键词： MapReduce算法推测执行 Hadoop MapReduce

来源：评论

学校读者我要写书评

暂无评论

Hadoop容错机制中的推测执行策略优化与研究

Hadoop容错机制中的推测执行策略优化与研究

引用

作者：金丹丹南京信息工程大学

学位级别：硕士

随着网络信息技术的不断发展及互联网数据的爆发式增长,传统的数据平台已经无法满足现有海量数据的存储与处理,分布式计算面临新的机遇。Hadoop的诞生使得海量数据的存储和计算成为可能,它是基于分布式存储平台HDFS和计算框架MapReduce... 详细信息

随着网络信息技术的不断发展及互联网数据的爆发式增长,传统的数据平台已经无法满足现有海量数据的存储与处理,分布式计算面临新的机遇。Hadoop的诞生使得海量数据的存储和计算成为可能,它是基于分布式存储平台HDFS和计算框架MapReduce的开源分布式并行计算平台。但实际应用过程中,常常会产生不可避免的硬件故障,因此如何保证平台存储的鲁棒性和计算的健壮性成为国内外学术圈的研究热点。本文主要研究如何保证分布式计算的健壮性,即Hadoop计算容错机制的优化。推测执行是保证计算容错机制准确性的重要手段之一,它通过发现任务执行过程中的掉队任务并为其启动一个备份任务,以达到降低任务执行时间及节省集群资源的目的。本文围绕推测执行机制的优化展开研究,目的是提高掉队任务判断的准确性,并制定备份节点选择策略,将掉队任务备份到性能更优的节点,以达到保证容错机制的健壮性的目的,主要工作包括:(1)为了提高推测执行过程中掉队任务判定的准确性,本文提出了一种基于任务进度实时感知的推测执行优化策略LWR-SE。首先,通过实时采集任务运行过程中的进度与执行时间信息,发现了两者存在局部线性关系,引入局部加权线性回归算法实时预测任务的剩余时间。其次,对备份任务的执行时间分阶段估算。最后,结合推测执行效益模型保证推测执行策略的整体效益。实验结果表明,与经典的推测执行算法相比,LWR-SE在实时任务剩余时间预测准确性、集群运行时间和吞吐量上性能更优。(2)针对LWR-SE没有考虑到备份任务的资源调度导致节点利用率不高的问题,提出了基于非合作博弈的推测执行混合资源调度策略HRSE。将推测执行中产生的备份任务和原始任务的混合资源调度转化为多方非合作博弈模型,模型的输入为推测执行产生的备份任务和集群中未处理的原始任务,通过效益计算得出任务的可能执行节点集合,根据可能执行节点集合中效益的纳什均衡得出最终的资源分配方案。实验结果显示,与经典的推测执行算法相比,该调度方案可以有效提升节点利用率,降低任务总体执行时间。

关键词： Hadoop 计算容错推测执行局部加权线性预测资源调度

来源：评论

学校读者我要写书评

暂无评论

基于待释放资源列表的MapReduce任务推测执行方法和装置

基于待释放资源列表的MapReduce任务推测执行方法和装置

引用

作者：李智勇陈京袁廷坤陈少淼杨波李仁发 410082 湖南省长沙市岳麓区麓山南路湖南大学

本发明公开了一种异构环境下基于待释放资源列表的MapReduce任务推测执行方法和装置，描述了在作业的执行过程中，空闲资源向主节点提交任务请求。如果当前作业存在沿未开始运行的任务，则从尚未开始运行的任务中选择一个任务在空闲资... 详细信息

标准号: CN105138405A

本发明公开了一种异构环境下基于待释放资源列表的MapReduce任务推测执行方法和装置，描述了在作业的执行过程中，空闲资源向主节点提交任务请求。如果当前作业存在沿未开始运行的任务，则从尚未开始运行的任务中选择一个任务在空闲资源上执行，算法结束。否则通过记录的作业执行信息，生成作业的慢任务列表。如果慢任务列表大小为0，则表明没有慢任务，不需要进行推测执行，算法结束。否则继续生成待释放资源列表。假设慢任务列表大小为N，待释放资源列表大小为M，根据本发明的备份任务选择算法，选择任务M分配给申请任务的资源，算法结束。本发明相比传统推测执行算法能够找到使慢任务更快完成的资源，从而提高执行效率。

关键词：算法任务列表释放资源推测执行空闲资源列表备份任务当前作业继续生成开始运行列表大小任务请求选择任务选择算法异构环境执行过程执行效率作业执行不需要未开始主节点结束一种生成描述分配记录提交申请找到运行表明公开选择执行完成进行

来源：评论

学校读者我要写书评

暂无评论

一种MapReduce中备份任务推测执行策略的优化方案

一种MapReduce中备份任务推测执行策略的优化方案

引用

作者：刘琦蔡卫东肖博沈剑付章杰 210000 江苏省南京市建邺区奥体大街69号

一种MapReduce中备份任务推测执行策略的优化方案，采用指数平滑算法，结合集群中节点实时性能，对任务运行各阶段的时间分别计算，达到对任务运行的剩余时间进行准确预测的目的。解决了默认情况下，推测执行准确率低，由于错误地启动... 详细信息

标准号: CN105302647A

一种MapReduce中备份任务推测执行策略的优化方案，采用指数平滑算法，结合集群中节点实时性能，对任务运行各阶段的时间分别计算，达到对任务运行的剩余时间进行准确预测的目的。解决了默认情况下，推测执行准确率低，由于错误地启动备份任务的问题。本方案极大程度的提高推测执行的正确率，节省了任务运行的时间，有效地节约了集群中有限的资源。

关键词：任务运行推测执行备份任务集群分别计算剩余时间实时性能优化方案指数平滑准确预测各阶段正确率中节点准确率一种默认算法节省节约启动结合有效解决进行

来源：评论

学校读者我要写书评

暂无评论

一种处理器无关的trace协处理器自动产生方法

引用

电子学报 2011年第2期39卷 402-407页

作者：桑胜田邱善勤李晓明喻明艳哈尔滨工业大学微电子中心黑龙江哈尔滨150001 工业和信息化部软件与集成电路促进中心北京100038

本文提出了体系结构无关的程序热trace提取方法,把基于trace的软硬件划分从机器代码层次提高到了中间代码表示的控制数据流图层次,从而实现了处理器体系结构无关的trace协处理器自动产生方法;提出了基于散列签名的trace预测方法,支持包... 详细信息

本文提出了体系结构无关的程序热trace提取方法,把基于trace的软硬件划分从机器代码层次提高到了中间代码表示的控制数据流图层次,从而实现了处理器体系结构无关的trace协处理器自动产生方法;提出了基于散列签名的trace预测方法,支持包含环路结构的trace预测,提高了平均命中率.基于上述工作实现的协处理器自动产生方法,可以作为系统级设计优化工具应用于现有的SoC软硬件开发流程.实验表明,与基于机器指令trace的方法相比,本文方法获得的系统平均性能提高了22.6%.

关键词：协处理器自动产生中间表示 trace 推测执行

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：