检索结果-内蒙古大学图书馆

作者：张睿涵长沙理工大学

学位级别：硕士

随着现代信息技术的发展,各种数据源生成的数据量呈指数增加,不断扩大的数据规模和不断延伸的各种业务需求导致传统的单机计算已经无法完成对大数据集的分析,从而使大数据计算从单机计算转向了分布式数据处理。Spark是目前使用范围最广... 详细信息

随着现代信息技术的发展,各种数据源生成的数据量呈指数增加,不断扩大的数据规模和不断延伸的各种业务需求导致传统的单机计算已经无法完成对大数据集的分析,从而使大数据计算从单机计算转向了分布式数据处理。Spark是目前使用范围最广的基于内存的大数据分布式计算框架,其关键的数据形态抽象概念弹性分布式数据集(Resilient Distributed Dataset,RDD)带来了大数据分布式计算中显著的性能提升。在应用场景中,Spark任务执行时经常由于存储内存不足需要进行RDD的替换操作。Spark在默认情况下采用最近最少使用(Least Recent Used,LRU)算法作为缓存替换策略,该算法仅考虑RDD最近一次的使用时间作为替换依据,在进行缓存替换时会出现替换依据考虑不全面、替换策略的缓存命中率较低等问题,并可能出现需要复用的RDD被驱逐出存储内存的情况,导致Spark性能下降。针对当前已有的Spark缓存替换策略中替换因素考虑不全面、没有针对不同的集群使用情况对缓存策略相应的做出调整的问题。本文提出了两种新的缓存替换策略,用于提升Spark分布式计算框架的性能及缓存命中率。本论文的主要贡献如下:1)针对缓存替换算法在不同机器上的效果差异的问题,本文设计了基于容量感知的缓存替换策略。该策略设计了 Spark缓存替换的RDD权重替换模型,并且能够在不同的RDD大小和集群内存比中自适应地选择合适的替代策略,对计算性能进行优化。2)针对集群资源使用程度的不同的问题,本文设计了基于动态调度的Spark缓存替换策略。该策略可以通过检测机器内存资源的使用情况,将其以动态调度参数的形式反应到集群缓存替换策略中,来达到更细粒度的对机器性能的变化做出调整的效果。最后,本文设计相应的仿真实验对基于容量感知的Spark缓存替换策略和基于动态调度的Spark缓存替换策略的性能进行测试和分析。实验数据表明,本文提出的两种缓存替换策略相对于LRU算法在不同场景下均能有效降低Spark的工作负载,提升Spark的运行效率。

关键词：大数据弹性分布式数据集 Spark 内存管理自适应缓存替换机制

来源：评论

学校读者我要写书评

暂无评论

基于弹性分布数据集的海量空间数据密度聚类

引用

湖南大学学报（自然科学版） 2015年第8期42卷 116-124页

作者：李璐明蒋新华廖律超中南大学信息科学与工程学院湖南长沙410075 长沙理工大学特殊环境道路工程湖南省重点实验室湖南长沙410004 福建工程学院福建省汽车电子与电驱动技术重点实验室福建福州350108

为了快速挖掘大规模空间数据的聚集特性,在cluster_dp密度聚类算法基础上,提出了一种基于弹性分布数据集的并行密度聚类方法 PClusterdp.首先,设计一种能平衡工作负载弹性分布数据集分区方法,根据数据在空间的分布情况,自动划分网格并... 详细信息

为了快速挖掘大规模空间数据的聚集特性,在cluster_dp密度聚类算法基础上,提出了一种基于弹性分布数据集的并行密度聚类方法 PClusterdp.首先,设计一种能平衡工作负载弹性分布数据集分区方法,根据数据在空间的分布情况,自动划分网格并分配数据,使得网格内数据量相对均衡,达到平衡运算节点负载的目的;接着,提出一种适用于并行计算的局部密度定义,并改进聚类中心的计算方式,解决了原始算法需要通过绘制决策图判断聚类中心对象的缺陷;最后,通过网格内及网格间聚簇合并等优化策略,实现了大规模空间数据的快速聚类处理.实验结果表明,借助Spark数据处理平台编程实现算法,本方法可以有效实现大规模空间数据的快速聚类,与传统的密度聚类方法相比具有较高的精确度与更好的系统处理性能.

关键词：空间数据聚类算法弹性分布式数据集 Spark

来源：评论

学校读者我要写书评

暂无评论

大数据处理技术在风电机组齿轮箱故障诊断与预警中的应用

引用

电力系统自动化 2016年第14期40卷 129-134页

作者：张少敏毛冬王保义华北电力大学控制与计算机工程学院河北省保定市071003

风电机组状态监测数据具有量大、多源、异构、复杂、增长迅速的电力大数据特点。现有的故障诊断与预警方法在处理大数据时难以在保证精度情况下进行快速处理,故提出了结合Storm实时流数据处理和Spark内存批处理技术的风电机组在线故障... 详细信息

风电机组状态监测数据具有量大、多源、异构、复杂、增长迅速的电力大数据特点。现有的故障诊断与预警方法在处理大数据时难以在保证精度情况下进行快速处理,故提出了结合Storm实时流数据处理和Spark内存批处理技术的风电机组在线故障诊断与预警模型。以齿轮箱故障诊断与预警为例阐释该模型,引入了Storm处理状态监测数据流,设计了流数据处理的Topology结构;引入Spark,利用弹性分布式数据集(RDD)编程模型实现了朴素贝叶斯(NB)算法和反向传播(BP)算法对设备状态信息进行故障诊断与预测。实验结果显示,该故障诊断与预测方法在保证精度的前提下具有较好的加速比,也证明了该故障诊断与预警模型的有效性和可行性。

关键词：风电机组故障诊断故障预警弹性分布式数据集内存批处理流数据处理

来源：评论

学校读者我要写书评

暂无评论

并行计算框架Spark的自适应缓存管理策略

引用

电子学报 2017年第2期45卷 278-284页

作者：卞琛于炯英昌甜修位蓉新疆大学信息科学与工程学院新疆乌鲁木齐830046 乌鲁木齐职业大学信息工程学院新疆乌鲁木齐830002

并行计算框架Spark缺乏有效缓存选择机制,不能自动识别并缓存高重用度数据;缓存替换算法采用LRU,度量方法不够细致,影响任务的执行效率.本文提出一种Spark框架自适应缓存管理策略(Self-Adaptive Cache Management,SACM),包括缓存自动选... 详细信息

并行计算框架Spark缺乏有效缓存选择机制,不能自动识别并缓存高重用度数据;缓存替换算法采用LRU,度量方法不够细致,影响任务的执行效率.本文提出一种Spark框架自适应缓存管理策略(Self-Adaptive Cache Management,SACM),包括缓存自动选择算法(Selection)、并行缓存清理算法(Parallel Cache Cleanup,PCC)和权重缓存替换算法(Lowest Weight Replacement,LWR).其中,缓存自动选择算法通过分析任务的DAG(Directed Acyclic Graph)结构,识别重用的RDD并自动缓存.并行缓存清理算法异步清理无价值的RDD,提高集群内存利用率.权重替换算法通过权重值判定替换目标,避免重新计算复杂RDD产生的任务延时,保障资源瓶颈下的计算效率.实验表明:我们的策略提高了Spark的任务执行效率,并使内存资源得到有效利用.

关键词：并行计算缓存管理策略 Spark 弹性分布式数据集

来源：评论

学校读者我要写书评

暂无评论

基于Spark的近地表速度模型快速层析反演

引用

石油物探 2022年第1期61卷 146-155页

作者：陈金焕中国石油化工股份有限公司石油物探技术研究院江苏南京211103

近地表速度模型层析反演多采用基于初至旅行时射线追踪的迭代反演方法。通常采用基于共享存储的MPI并行方式提高计算效率,但当计算节点增至一定规模时会存在网络I/O压力过大的计算瓶颈。为此,提出了一种快速、稳健的基于Spark技术的近... 详细信息

近地表速度模型层析反演多采用基于初至旅行时射线追踪的迭代反演方法。通常采用基于共享存储的MPI并行方式提高计算效率,但当计算节点增至一定规模时会存在网络I/O压力过大的计算瓶颈。为此,提出了一种快速、稳健的基于Spark技术的近地表速度模型层析反演方法,采用分布式内存管理技术将迭代中重复计算的数据持久化至内存中,提高程序运行效率。同时,为了解决共享存储中随着节点规模扩大而产生网络I/O堵塞的瓶颈问题,在分布式存储环境下组织弹性分布式数据集(RDD),设计基本规约单位为深度方向的一维反演数据,基于Spark Shuffle在规约过程中分布并行规约,利用Spark调度器在各个进程中分配任务,实现并行计算。实际数据计算结果表明:在反演结果精度不变的情况下,相对于常规MPI并行技术,该实现方法能够大幅度降低迭代过程中产生的网络I/O;当计算节点较多时,计算效率能够提高4倍以上;并行加速比呈现类线性增长趋势。

关键词：近地表层析反演迭代计算 Spark并行弹性分布式数据集规约基本单元

来源：评论

学校读者我要写书评

暂无评论

基于RDDs的分布式聚类集成算法

引用

小型微型计算机系统 2016年第7期37卷 1434-1439页

作者：王韬杨燕滕飞冯晨菲西南交通大学信息科学与技术学院成都610031 南京大学计算机软件新技术国家重点实验室南京210023

在大数据时代,数据规模的不断扩大,数据的多样性愈发突出,提高分布式聚类算法的结果质量逐渐成为关注的焦点.针对多数分布式聚类算法在处理海量数据时采用的并行策略不合理以及聚类结果不理想等缺陷,提出一种基于弹性分布式数据集(Resil... 详细信息

在大数据时代,数据规模的不断扩大,数据的多样性愈发突出,提高分布式聚类算法的结果质量逐渐成为关注的焦点.针对多数分布式聚类算法在处理海量数据时采用的并行策略不合理以及聚类结果不理想等缺陷,提出一种基于弹性分布式数据集(Resilient Distributed Datasets,RDDs)的分布式聚类集成算法(Dis CE).该算法首先设计一个基于RDDs的分布式邻接表,解决关联数据在分布式环境中的表示和存储;其次利用分布式的共识函数模型,综合几个海量基聚类结果并用分布式邻接表表示;最后运用改进的分布式近邻传播算法(MDAP),划分分布式邻;接表为最终的聚类结果.实验结果表明,新提出的算法对数据规模有很好的适应性,在有效提高聚类结果质量的同时可大幅减少运行时间.

关键词：聚类集成分布式计算弹性分布式数据集

来源：评论

学校读者我要写书评

暂无评论

云环境下求解大规模优化问题的协同差分进化算法

引用

智能系统学报 2018年第2期13卷 243-253页

作者：谭旭杰邓长寿吴志健彭虎朱鹊桥九江学院信息科学与技术学院武汉大学软件工程国家重点实验室中国人民解放军93704部队

差分进化是一种求解连续优化问题的高效算法。然而差分进化算法求解大规模优化问题时,随着问题维数的增加,算法的性能下降,且搜索时间呈指数上升。针对此问题,本文提出了一种新的基于Spark的合作协同差分进化算法(SparkDECC)。SparkDEC... 详细信息

差分进化是一种求解连续优化问题的高效算法。然而差分进化算法求解大规模优化问题时,随着问题维数的增加,算法的性能下降,且搜索时间呈指数上升。针对此问题,本文提出了一种新的基于Spark的合作协同差分进化算法(SparkDECC)。SparkDECC采用分治策略,首先通过随机分组方法将高维优化问题分解成多个低维子问题,然后利用Spark的弹性分布式数据模型,对每个子问题并行求解,最后利用协同机制得到高维问题的完整解。通过在13个高维测试函数上进行的对比实验和分析,实验结果表明算法加速明显且可扩展性好,验证了SparkDECC的有效性和适用性。

关键词：差分进化大规模优化协同进化弹性分布式数据集云计算

来源：评论

学校读者我要写书评

暂无评论

一种基于内存计算的电力用户聚类分析方法

引用

智能系统学报 2015年第4期10卷 569-576页

作者：王德文孙志伟华北电力大学控制与计算机工程学院河北保定071003

随着智能电表与采集终端采集的用电数据迅猛增长,传统数据分析方法已经不能满足大数据环境下智能用电行为分析的需要。鉴于K-means算法具有计算效率高、容易并行化等特点,采用弹性分布式数据集与并行内存计算框架对其进行改进与并行化,... 详细信息

随着智能电表与采集终端采集的用电数据迅猛增长,传统数据分析方法已经不能满足大数据环境下智能用电行为分析的需要。鉴于K-means算法具有计算效率高、容易并行化等特点,采用弹性分布式数据集与并行内存计算框架对其进行改进与并行化,减少作业的运行与输入输出操作时间,提高聚类分析的处理能力。对用电测量数据进行预处理构建实验数据集,实验结果表明本方法对电力用户聚类分析的准确率高于单机K-means方法,其处理速度和能力明显优于单机和基于Map Reduce并行计算框架的聚类方法,并对数据的增长具有较好的适应性。

关键词：大数据智能用电弹性分布式数据集内存计算聚类分析

来源：评论

学校读者我要写书评

暂无评论

基于RDD的分布式粒子群优化算法

引用

小型微型计算机系统 2016年第11期37卷 2542-2546页

作者：程磊生吴志健彭虎吴双可邓长寿王则林武汉大学软件工程国家重点实验室武汉430072 武汉大学计算机学院武汉430072 九江学院信息科学与技术学院江西九江332005

在演化计算领域,粒子群优化算法具有易实现、收敛快、调参少等优点.但是随着问题规模的增大,粒子群优化算法易陷入求解精度不高、耗时过长的窘态,因此本文提出一种基于弹性分布式数据集(Resilient Distributed Datasets,RDD)的分布式粒... 详细信息

在演化计算领域,粒子群优化算法具有易实现、收敛快、调参少等优点.但是随着问题规模的增大,粒子群优化算法易陷入求解精度不高、耗时过长的窘态,因此本文提出一种基于弹性分布式数据集(Resilient Distributed Datasets,RDD)的分布式粒子群优化算法.该算法采用岛模型将种群分解为若干个岛屿,即子种群,然后使用RDD并行数据结构将整个种群并行化,使得每个岛屿对应RDD中的一个分区,借助RDD的分区并行,实现了粒子群优化算法在分布式平台上的并行.最后,对包括单峰函数和多峰函数在内的11个标准测试函数,将该算法与多种改进的PSO算法进行了比较实验与分析,结果表明该算法求解精度高且加速效果明显.

关键词：粒子群优化弹性分布式数据集岛模型并行计算

来源：评论

学校读者我要写书评

暂无评论

Spark框架中RDD缓存替换策略优化

引用

小型微型计算机系统 2019年第6期40卷 1248-1253页

作者：陈天宇张龙信李肯立周立前湖南工业大学计算机学院湖南株洲412007 湖南大学信息科学与工程学院长沙410082

Spark作为分布式计算引擎,其基于内存的抽象概念弹性分布式数据集(RDD)产生了高效的数据处理能力.实际的生产环境中,任务在执行的过程中经常由于内存空间不足需要替换掉部分RDD. Spark默认的最近最少使用替换算法(LRU)仅考虑最近是否使... 详细信息

Spark作为分布式计算引擎,其基于内存的抽象概念弹性分布式数据集(RDD)产生了高效的数据处理能力.实际的生产环境中,任务在执行的过程中经常由于内存空间不足需要替换掉部分RDD. Spark默认的最近最少使用替换算法(LRU)仅考虑最近是否使用RDD分片而忽略其它因素.基于RDD权重值改进后的WR缓存替换策略侧重于RDD的权值替换,在此研究基础上,本文提出了缓存权重替换(CWS)策略,优化选择策略,并在替换阶段考虑了历史访问次数与计算成本.本文的实验使用斯坦福大学提供的公开网络分析项目进行测试,实验结果表明CWS策略在充足内存条件下处理较小数据的平均执行时间高于WR算法2. 4%,内存占用率相比降低36%.

关键词：缓存策略 Spark 弹性分布式数据集内存计算

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：