检索结果-内蒙古大学图书馆

作者：罗妮中国科学院大学

学位级别：硕士

近几年，以Spark为代表的内存集群计算框架获得大量关注，发展迅速，相比于传统的磁盘计算框架运行迭代和交互式应用程序快数十倍。但是由于内存集群计算框架是一种新的计算框架，配置参数对其性能的影响仍未知，因此尚未有研究解决从... 详细信息

近几年，以Spark为代表的内存集群计算框架获得大量关注，发展迅速，相比于传统的磁盘计算框架运行迭代和交互式应用程序快数十倍。但是由于内存集群计算框架是一种新的计算框架，配置参数对其性能的影响仍未知，因此尚未有研究解决从优化参数角度优化Spark集群的性能。本研究首先研究配置参数对Spark性能的影响，发现由配置参数引起的最优性能是最差性能的20.7倍，说明配置Spark程序对程序的性能非常重要。然而，传统的手动调参方法既困难也很耗时，远未达到最佳性能。为解决这一问题，本论文提出一种自动优化Spark配置参数的方法(ACS)。ACS首先使用随机森林算法构造性能模型，模型以Spark配置参数为输入，程序执行时间为输出;然后ACS使用遗传算法结合性能模型搜索最优配置参数。使用六个Spark程序，每个程序搭配五个输入集进行实验，实验结果表明，ACS相比于默认配置参数的平均加速比是2.2，最高加速比达8.2，并且加速比随着输入集的增大而增大。

关键词：内存计算框架机器学习最优配置参数随机森林算法

来源：评论

学校读者我要写书评

暂无评论

基于弹性分布数据集和有向无环图的潮流优化云计算系统设计研究

引用

电力系统保护与控制 2019年第23期47卷 160-165页

作者：化振谦卢世祥阙华坤叶新青潘柏良广东电网有限责任公司计量中心广东广州510080 浙江华云信息科技有限公司浙江杭州310008

随着智能电网数据量的不断增加,现有的电力平台无法满足系统高性能计算的需求。针对这一问题,引入云计算进行分布式电力系统内存计算框架的设计,在分布式文件系统中存储智能电表、电子设备等采集数据。结合内存计算框架Spark和牛顿-拉... 详细信息

随着智能电网数据量的不断增加,现有的电力平台无法满足系统高性能计算的需求。针对这一问题,引入云计算进行分布式电力系统内存计算框架的设计,在分布式文件系统中存储智能电表、电子设备等采集数据。结合内存计算框架Spark和牛顿-拉夫逊法,提出弹性分布数据集(RDD)和有向无环图(DAG)优化的牛顿-拉夫逊法。通过实验分析潮流计算时间、加速比和实验集群规模,验证所提算法具有良好的性能。所做研究工作为国内智能电网发展提供参考和借鉴。

关键词：云计算高性能内存计算框架潮流计算集群规模

来源：评论

学校读者我要写书评

暂无评论

基于Spark和SimHash的大数据K-近邻分类算法

引用

河北大学学报（自然科学版） 2019年第2期39卷 201-210页

作者：翟俊海沈矗张素芳王婷婷河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室河北保定071002 中国气象局气象干部培训学院河北分院河北保定071000

在笔者之前的工作中,提出了一种基于MapReduce和SimHash的大数据K-近邻算法(HMR-K-NN).虽然该算法能够有效解决大数据K-近邻算法的计算效率问题,运行时间远远低于基于MapReduce的K-近邻(MR-K-NN)所用的运行时间.然而,用MapReduce处理大... 详细信息

在笔者之前的工作中,提出了一种基于MapReduce和SimHash的大数据K-近邻算法(HMR-K-NN).虽然该算法能够有效解决大数据K-近邻算法的计算效率问题,运行时间远远低于基于MapReduce的K-近邻(MR-K-NN)所用的运行时间.然而,用MapReduce处理大数据时,需要从磁盘读取数据,再将中间结果写回磁盘,导致系统的I/O开销极大,这大大降低了MapReduce的效率.与MapReduce不同,Spark是一种基于内存的计算框架,它将数据第1次从磁盘读入内存,生成一种抽象的内存对象RDD(resilient distributed datasets).此后,Spark只操作内存中的RDD,计算过程只涉及内存读写,因此大幅提升了数据处理效率.基于这一事实,对算法H-MR-K-NN进行了改进,提出了一种改进的算法(简记为HSpark-K-NN),可以进一步提高大数据K-近邻分类的运行效率.

关键词：内存计算框架 K-近邻哈希技术分类算法大数据集

来源：评论

学校读者我要写书评

暂无评论

基于内存云的自适应数据恢复策略

引用

东北师大学报（自然科学版） 2020年第4期52卷 82-89页

作者：卢学远钱育蓉英昌甜新疆大学软件学院新疆乌鲁木齐830008 新疆大学电气工程学科博士后流动站新疆乌鲁木齐830046

针对内存云(RAMCloud)平台数据恢复机制的固定性存在非智能选择数据恢复机制问题,提出一种适用于该架构下的自适应数据恢复策略.结合数据仓库Hive以及内存计算框架Spark平台,使用随机数据块对增强学习自适应数据恢复策略与传统固定使用R... 详细信息

针对内存云(RAMCloud)平台数据恢复机制的固定性存在非智能选择数据恢复机制问题,提出一种适用于该架构下的自适应数据恢复策略.结合数据仓库Hive以及内存计算框架Spark平台,使用随机数据块对增强学习自适应数据恢复策略与传统固定使用RAMCloud自身数据快速恢复机制的耗时进行了对比.经过算法公式优化,降低了算法迭代计算部分的时间复杂度与空间复杂度,将时间复杂度与空间复杂度同时从O(n)降低至O(1).实验结果表明,在RAMCloud 1.0版本下,使用自适应数据恢复策略,相对平均提速93.6%,相对数据恢复成功率平均提高8.7%.

关键词：内存云数据仓库内存计算框架数据恢复增强学习

来源：评论

学校读者我要写书评

暂无评论

I-Apriori:一种基于Spark平台的改进Apriori算法

引用

科学技术与工程 2017年第27期17卷 243-248页

作者：李庆鹏张龙军耿新元武警工程大学信息工程系西安710086

针对Apriori算法在第二次迭代过程中产生大量候选集的弊端,在Spark大数据框架下,将Apriori算法进行并行化处理。提出一种基于Spark平台的改进Apriori算法——I-Apriori;该算法利用Spark基于内存计算的抽象对象(RDD)存储频繁项集,在第二... 详细信息

针对Apriori算法在第二次迭代过程中产生大量候选集的弊端,在Spark大数据框架下,将Apriori算法进行并行化处理。提出一种基于Spark平台的改进Apriori算法——I-Apriori;该算法利用Spark基于内存计算的抽象对象(RDD)存储频繁项集,在第二次迭代中,通过使用改进的布隆过滤器存储频繁1项集,消除候选集生成,减少数据库扫描次数,提高算法效率。实验结果表明,相比基于Spark平台的Apriori算法进行性能评估,I-Apriori算法具有更优的性能,能够较大程度地提高大数据关联规则挖掘的效率。

关键词：内存计算框架数据挖掘关联规则算法布隆过滤器

来源：评论

学校读者我要写书评

暂无评论

基于内存云的探索式数据恢复策略

引用

计算机工程与设计 2019年第1期40卷 122-125,196页

作者：卢学远钱育蓉新疆大学软件学院新疆乌鲁木齐830008

由于目前内存云(RAMCloud)平台的不稳定性,存在特定环境下固定数据恢复机制非最优解问题。针对该问题,提出一种适用于该架构下的探索式数据恢复策略。结合数据仓库Hive以及内存计算框架Spark平台,使用随机数据块,对增强学习探索式数据... 详细信息

由于目前内存云(RAMCloud)平台的不稳定性,存在特定环境下固定数据恢复机制非最优解问题。针对该问题,提出一种适用于该架构下的探索式数据恢复策略。结合数据仓库Hive以及内存计算框架Spark平台,使用随机数据块,对增强学习探索式数据恢复策略与传统固定使用RAMCloud自身数据快速恢复机制的耗时做对比。实验结果表明,目前的RAMCloud版本下,使用探索式数据恢复策略,最高相对提速可达97.1%,最高相对数据恢复成功率可达21.7%。

关键词：内存云数据仓库内存计算框架数据恢复增强学习

来源：评论

学校读者我要写书评

暂无评论

基于机器学习的内存计算优化关键技术研究

基于机器学习的内存计算优化关键技术研究

引用

作者：罗妮中国科学院大学(中国科学院深圳先进技术研究院)

学位级别：硕士

近几年,由于相比于传统的磁盘计算框架运行迭代和交互式应用程序快数十倍,以Spark为代表的内存集群计算框架获得大量关注,发展迅速。但是由于内存集群计算框架是一种新的计算框架,配置参数对其性能的影响仍未知,因此尚未有研究解决从有... 详细信息

近几年,由于相比于传统的磁盘计算框架运行迭代和交互式应用程序快数十倍,以Spark为代表的内存集群计算框架获得大量关注,发展迅速。但是由于内存集群计算框架是一种新的计算框架,配置参数对其性能的影响仍未知,因此尚未有研究解决从有优化参数角度优化Spark集群的性能。本研究首先研究配置参数对Spark性能的影响,发现由配置参数引起的最优性能是最差性能的20.7倍,说明配置Spark程序对程序的性能非常重要。然而,传统的手动调参方法既困难也很耗时,远未达到最佳性能。为解决这一问题,本论文提出一种自动优化Spark配置参数的方法(ACS)。ACS首先使用随机森林算法构造性能模型,模型以Spark配置参数为输入,程序执行时间为输出;然后ACS使用遗传算法结合性能模型搜索最优配置参数。使用六个Spark程序,每个程序搭配五个输入集进行实验,实验结果表明,ACS相比于默认配置参数的平均加速比是2.2,最高加速比达8.2,并且加速比随着输入集的增大而增大。

关键词：大数据分布式系统内存计算框架参数优化机器学习

来源：评论

学校读者我要写书评

暂无评论

基于Spark支持差分隐私保护的Apriori算法

引用

武警工程大学学报 2017年第2期33卷 22-25页

作者：李庆鹏张龙军李昊宇武警工程大学研究生管理大队西安710086 武警工程大学信息工程系西安710086

针对现有的海量数据分析和数据挖掘过程中，无法应对任意背景知识下的恶意攻击而造成用户隐私数据泄露的问题，在Spark大数据内存并行计算框架的基础上引入差分隐私保护机制，对模式挖掘过程中的敏感信息进行Laplace加噪处理，提出一种... 详细信息

针对现有的海量数据分析和数据挖掘过程中，无法应对任意背景知识下的恶意攻击而造成用户隐私数据泄露的问题，在Spark大数据内存并行计算框架的基础上引入差分隐私保护机制，对模式挖掘过程中的敏感信息进行Laplace加噪处理，提出一种适合于在Spark框架下满足差分隐私保护的Apriori关联分析算法。该算法利用差分隐私的组合特性，从理论上证明了算法满足￡一差分隐私特性，并且指导了隐私保护预算的分配过程。通过实验表明，提出的算法比在MapReduce框架下实现支持隐私保护的Apriori算法迭代效率更高、安全性更好，同时在保证可用性前提下，算法具有较好的隐私保护特性和良好的时效性。

关键词：内存计算框架差分隐私关联分析模式挖掘关联规则算法

来源：评论

学校读者我要写书评

暂无评论

基于Pig__Spark的分布式数据分析处理平台

引用

信息技术 2017年第7期41卷 45-48,55页

作者：陈晓于金良朱志祥西安邮电大学西安710061

传统的数据分析平台Pig的执行引擎是MapReduce,由于MapReduce的局限性,使得数据处理过程中存在高延迟,内存开销大等缺点。为克服这些不足,文中基于当下最流行的内存计算框架Spark,在保留传统数据分析平台Pig语言特性和基础设施的基础上... 详细信息

传统的数据分析平台Pig的执行引擎是MapReduce,由于MapReduce的局限性,使得数据处理过程中存在高延迟,内存开销大等缺点。为克服这些不足,文中基于当下最流行的内存计算框架Spark,在保留传统数据分析平台Pig语言特性和基础设施的基础上,开发实现了一种全新的数据分析处理平台,并通过具体实验对比两个数据平台的性能。实验结果证明,基于Saprk的数据分析平台在数据处理速度上远远高于传统的数据分析平台Pig。

关键词： Spark Pig 大数据内存计算框架数据分析处理平台

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：