检索结果-内蒙古大学图书馆

计算机工程与应用 2020年第21期56卷 60-64页

作者：程振京程耀东陈刚汪璐李海波胡庆宝中国科学院高能物理研究所北京100049 中国科学院大学北京100049 中国科学院高能物理研究所天府宇宙线研究中心成都610041

随着LHAASO高海拔宇宙线等高能物理实验规模的不断扩大,每年需要存储PB级的海量物理数据。高能物理海量存储系统一般采用随机的数据放置策略,没有考虑数据访问场景和服务器节点、存储设备的差异性。针对以上问题,提出一种异构存储环境... 详细信息

随着LHAASO高海拔宇宙线等高能物理实验规模的不断扩大,每年需要存储PB级的海量物理数据。高能物理海量存储系统一般采用随机的数据放置策略,没有考虑数据访问场景和服务器节点、存储设备的差异性。针对以上问题,提出一种异构存储环境下基于随机森林算法的数据放置策略,根据存储设备性能差异划分快慢存储池,同时对后期文件的读写访问场景进行预测和识别,综合考虑当前设备负载为数据找到最佳的放置位置。使用真实物理实验数据验证了算法的有效性。

关键词：随机森林分布式存储系统异构存储存储池数据放置策略访问场景

来源：评论

学校读者我要写书评

暂无评论

机群文件系统的数据放置策略研究

机群文件系统的数据放置策略研究

引用

作者：王毓中国科学院计算技术研究所

学位级别：硕士

近年来机群系统凭借其良好的扩展性、可用性以及高性价比成为当前高性能计算机的主流体系结构。而由于磁盘性能的提升速度远远落后于CPU、内存以及通信网络带宽的发展速度，从而使得I/O子系统越来越成为机群系统的性能瓶颈。设计高性能... 详细信息

近年来机群系统凭借其良好的扩展性、可用性以及高性价比成为当前高性能计算机的主流体系结构。而由于磁盘性能的提升速度远远落后于CPU、内存以及通信网络带宽的发展速度，从而使得I/O子系统越来越成为机群系统的性能瓶颈。设计高性能的机群文件系统是缓解这一问题的重要手段。实际应用中所产生的数据可能在系统中不同的存储节点之间造成访问和存储的不均衡，从而导致某个节点成为系统的性能瓶颈，降低了系统的整体性能。高效的数据放置策略通过将数据在系统中所有存储节点之间合理有效地分布存放，充分利用所有节点的聚合带宽，提高系统的吞吐量，从而成为缓解或者消除I/O子系统性能瓶颈的重要技术。本文总结了影响机群文件系统I/O性能的数据放置的几个关键问题，并结合国内外相关研究工作，提出了有效的解决方案。主要研究内容及结果如下：\n ⑴提出了适用于目前机群系统中衡量节点负载的二元组方法及负载均衡机制。这种方法主要考虑节点的I/O访问负载，其次考虑节点的磁盘空间利用率。对节点的I/O访问负载失衡和磁盘空间利用饱和的情况进行区分，采取不同的数据迁移策略，使系统中的负载处于动态近似均衡状态，从而可以充分利用系统中所有节点的带宽，提高系统的I/O性能。\n ⑵提出了存放文件时基于负载的概率选择法。在选择文件的存放位置时，首先考虑节点的I/O访问负载。当访问负载不均衡时，以节点的访问负载大小所占比重的概率选择该节点进行存放；当访问负载近似均衡时，以节点的磁盘空间利用率所占比重的概率选择该节点进行存放。这种方法可以有效地支持多复本机制，同时还支持single、stripe两种不同的文件模式。实验测试表明，通过这种方法选择文件的存放位置，可以提高系统的吞吐量。\n ⑶提出了机群系统发生伸缩时的数据迁移策略。对节点失效的情况，首先基于负载进行快速的数据恢复，然后再进行负载均衡的数据迁移操作。对节点加入的情况，首先进行负载均衡的数据迁移操作，再将新节点投入到创建文件时的使用。通过采取不同的数据迁移机制，在保证系统数据可靠性的同时，又能尽量减小数据迁移对系统I/O性能的影响。通过这种方法进行节点伸缩时的数据迁移，可以提升节点动态变化时系统的吞吐量。

关键词：机群文件系统数据交换信息存储数据放置策略

来源：评论

学校读者我要写书评

暂无评论

监控视频云计算平台中数据放置策略研究与应用

监控视频云计算平台中数据放置策略研究与应用

引用

作者：许彬北京邮电大学

学位级别：硕士

随着社会对安防的重视,监控摄像头遍布城市的各个角落,而且数量还在不断增长,由此产生了海量的监控视频数据,分布式处理监控视频数据成为一种趋势。传统的监控视频离线处理系统在分布式处理大规模视频数据时,集群内节点存在负载不均衡... 详细信息

随着社会对安防的重视,监控摄像头遍布城市的各个角落,而且数量还在不断增长,由此产生了海量的监控视频数据,分布式处理监控视频数据成为一种趋势。传统的监控视频离线处理系统在分布式处理大规模视频数据时,集群内节点存在负载不均衡的问题,集群内节点之间往往会产生大量的网络数据传输,从而降低了分布式视频处理任务的计算效率。传统的分布式监控视频离线处理系统存在的问题表明视频大数据的分布式存储策略与分布式计算框架的协作显得尤为重要。首先,本文通过分析当前主流的智能监控视频处理算法和分布式计算框架,在实验的基础上提出了一种面向监控视频数据块处理的时间预测模型(CTPM),该预测模型利用了视频数据块的特征,例如分辨率、帧率、时长以及集群中节点的计算能力等,能够预测视频处理任务在不同节点上所需要的处理时间。其次,本文提出一种基于CTPM时间预测模型的监控视频数据块初始放置算法(IDPA),该策略将同属于一个处理任务的视频数据块集合DBG作为基本的放置单元,通过CTPM模型预测每个DBG的处理时间,然后基于负载均衡原则将数据块在集群中合理放置。考虑到混合集群中节点的计算能力会动态变化,导致IDPA算法出现较大的误差,因此本文提出一种基于CTPM时间预测模型的数据迁移算法(DRA),对某些计算能力发生显著变化的节点进行数据迁移,保证集群负载均衡,提高集群的资源利用率。最后,为了验证本文提出的监控视频数据放置策略,本文实现了基于Spark分布式计算框架的离线视频浓缩算法,使用交通监控视频作为数据源,实验结果表明,IDPA和DRA算法能够显著地降低监控视频分布式处理任务的完成时间,使集群内各节点负载均衡,提高了集群的资源利用率。

关键词：数据放置策略数据迁移策略离线视频处理云计算

来源：评论

学校读者我要写书评

暂无评论

引入SaaS特征的云数据放置策略管理系统

引入SaaS特征的云数据放置策略管理系统

引用

作者：江明桥 210046 江苏省南京市雨花台区宁双路19号K栋16楼

本发明公开了引入SaaS特征的云数据放置策略管理系统，涉及数据处理技术领域，包括：第一数据获取模块获取企业业务数据；数据备份模块对原数据备份以得到K个备份原数据；第一数据分片模块对K份备份原数据进行一次hash分片处理，获取一... 详细信息

标准号: CN116319815A

本发明公开了引入SaaS特征的云数据放置策略管理系统，涉及数据处理技术领域，包括：第一数据获取模块获取企业业务数据；数据备份模块对原数据备份以得到K个备份原数据；第一数据分片模块对K份备份原数据进行一次hash分片处理，获取一次分片处理结果；时间戳改写模块对每个数据类型的一级切分数据块进行时间戳改写处理；第二数据分片模块对改写后的每个数据类型的一级切分数据块进行二次hash分片处理，获取二次分片处理结果；分布式存储模块将二级切分数据块映射至对应的目标区块链云服务器节点中的至少一条目标数据区块链，本发明有利于在保证数据存储安全的同时保证数据的高可靠性和高可还原性。

关键词：分片处理数据块原数据备份改写第一数据数据类型时间戳分布式存储模块企业业务数据数据备份模块数据处理技术数据存储安全数据放置策略高可靠性管理系统获取模块可还原性目标区块目标数据数据分片云服务器映射区块保证引入

来源：评论

学校读者我要写书评

暂无评论

引入SaaS特征的云数据放置策略管理系统

引入SaaS特征的云数据放置策略管理系统

引用

作者：江明桥 210046 江苏省南京市雨花台区宁双路19号K栋16楼

标准号: CN116319815B

来源：评论

学校读者我要写书评

暂无评论

Elasticsearch数据存储策略研究

Elasticsearch数据存储策略研究

引用

作者：李传根重庆邮电大学

学位级别：硕士

当今社会计算机和互联网发展迅猛,各行各业每天都会产生数以亿计的数据,如何从海量数据中快速地进行数据检索,已成为用户的迫切需求。为此,以Elasticsearch,Solr,Index Tank为代表的搜索引擎框架应运而生,其中Elasticsearch分布式搜索... 详细信息

当今社会计算机和互联网发展迅猛,各行各业每天都会产生数以亿计的数据,如何从海量数据中快速地进行数据检索,已成为用户的迫切需求。为此,以Elasticsearch,Solr,Index Tank为代表的搜索引擎框架应运而生,其中Elasticsearch分布式搜索引擎因其实时性高,可用性强,使用简单和检索效率高等良好特性,得到了业内各大互联网公司及众多科研机构的青睐,广泛地应用在各行各业的实际生产和工作中,成为了主流的全文搜索引擎框架。论文首先针对Elasticsearch分布式搜索引擎框架的应用现状、研究现状、相关文献及源代码进行深入调查和研究,分析了Elasticsearch的架构组成、运行机制和实现原理,归纳总结出Elasticsearch中索引段合并机制、路由机制及数据放置策略存在的问题,提出相应的改进策略并通过实验加以验证,主要完成的工作如下:Elasticsearch的索引段合并方面,由于现有的策略在合并时机上没有考虑节点的负载,在集群高负载情况下,由于线程的上下文切换及资源争用,会降低索引段合并的速度及集群的吞吐量;此外,现有合并策略并没有优化数据分布,从而影响数据检索效率。为此提出基于相似度评价模型的索引段合并策略,该策略通过选择不同的索引段合并方式,从而减少索引段合并次数,提高了集群的吞吐量;进一步地,通过相似度评价模型选择出最优的待合并索引段,从而提高数据的检索速度。Elasticsearch的文档路由及数据放置方面,其默认的路由公式让所有的数据都均匀地分布到各个索引分片中,查询时再从所有分片中进行遍历,对于小量数据的查询不够高效;此外,现有放置策略也存在不同主题类别数据分布不均及数据导入效率低的问题。为此,提出基于分片绑定的数据放置策略,该策略基于数据分片绑定能够根据数据的大小及冷热程度选择不同的数据存储方式,并通过分片绑定模型选择出最优的分片绑定节点,从而优化了数据的存储分布,提高了数据的读写效率。论文研究工作表明,基于Elasticsearch分布式搜索引擎框架,研究其数据存储策略,进一步优化其索引段合并和数据放置策略,可以提高Elasticsearch的检索速度和吞吐量,对Elasticsearch搜索引擎框架的应用及推广具有重要意义。

关键词： Elasticsearch 相似度评价模型索引段合并分片绑定数据放置策略

来源：评论

学校读者我要写书评

暂无评论

分布式存储中数据分布策略的分析与研究

引用

河北建筑工程学院学报 2012年第3期30卷 64-69页

作者：庞慧陈艳君河北建筑工程学院河北张家口075000 北京交通大学计算机与信息技术学院北京100000

通过对当前已有分布式存储中数据放置策略与动态负载平衡算法的研究及学习,本文简单分析了分布式存储架构模型;详细介绍了分布式缓存的问题;研究了哈希算法,并对其容错性和可扩展性进行了分析;分析了虚拟节点的引入原理;并深入研究了基... 详细信息

通过对当前已有分布式存储中数据放置策略与动态负载平衡算法的研究及学习,本文简单分析了分布式存储架构模型;详细介绍了分布式缓存的问题;研究了哈希算法,并对其容错性和可扩展性进行了分析;分析了虚拟节点的引入原理;并深入研究了基于节点容量感知的负载均衡策略.最后,针对当前分布式存储中数据应用环境中数据分布策略可扩展性以及灵活性的不足,并结合所得的研究成果写出了个人心得,提出一种更加合理的数据分布策略.

关键词：分布式存储数据放置策略负载均衡策略

来源：评论

学校读者我要写书评

暂无评论

基于Docker的云资源弹性调度策略

引用

计算机应用 2018年第2期38卷 557-562页

作者：彭丽苹吕晓丹蒋朝惠彭成辉贵州大学计算机科学与技术学院贵阳550025

针对云资源弹性调度问题,结合Ceph数据存储的特点,提出一种基于Docker容器的云资源弹性调度策略。首先,指出Docker容器数据卷不能跨主机的特性给应用在线迁移带来了困难,并对Ceph集群的数据存储方法进行改进;然后,建立了一个基于节点综... 详细信息

针对云资源弹性调度问题,结合Ceph数据存储的特点,提出一种基于Docker容器的云资源弹性调度策略。首先,指出Docker容器数据卷不能跨主机的特性给应用在线迁移带来了困难,并对Ceph集群的数据存储方法进行改进;然后,建立了一个基于节点综合负载的资源调度优化模型;最后,将Ceph集群和Docker容器的特点相结合,利用Docker Swarm实现了既考虑数据存储、又考虑集群负载的应用容器部署算法和应用在线迁移算法。实验结果表明,与一些调度策略相比,该调度策略对集群资源进行了更细粒度的划分,实现了云平台资源的弹性调度,并在保证应用性能的同时,达到了合理利用云平台资源和降低数据中心运营成本的目的。

关键词：弹性调度应用迁移数据放置策略 Swarm编排器 Docker容器 Ceph集群

来源：评论

学校读者我要写书评

暂无评论

基于Ceph集群的能耗管理策略研究

引用

计算机工程与应用 2018年第10期54卷 66-72,134页

作者：彭丽苹吕晓丹蒋朝惠贵州大学计算机科学与技术学院贵阳550025

数据中心能耗高是云计算发展过程中一个亟待解决的关键问题。建立了一个集群能耗优化模型,并在此基础上提出了一种基于Ceph集群的数据副本放置策略。该策略在考虑集群可用性和容错性的同时,采用了顺序存储和随机存储相结合的存储方法,使... 详细信息

数据中心能耗高是云计算发展过程中一个亟待解决的关键问题。建立了一个集群能耗优化模型,并在此基础上提出了一种基于Ceph集群的数据副本放置策略。该策略在考虑集群可用性和容错性的同时,采用了顺序存储和随机存储相结合的存储方法,使得Ceph集群在满足用户SLA需求和保证集群性能的前提下,达到节能的目的。实验结果表明,与原始Ceph集群相比,该数据副本放置策略在保证集群服务质量的同时,使得数据中心耗电量降低了14.3%。

关键词： Ceph集群能耗模型数据放置策略能耗管理

来源：评论

学校读者我要写书评

暂无评论

一种面向云环境的Ceph集群能耗管理策略研究

一种面向云环境的Ceph集群能耗管理策略研究

引用

作者：彭丽苹贵州大学

学位级别：硕士

近年来,云计算与大数据技术得到了飞速发展。从智慧医疗到智慧城市、从精准扶贫到精密工业、从政府办公到个性化的推荐系统,都展示着云计算与大数据给人们生活带来的变化。但与此同时,数据中心巨大的能耗问题引起了人们的广泛关注,如何... 详细信息

近年来,云计算与大数据技术得到了飞速发展。从智慧医疗到智慧城市、从精准扶贫到精密工业、从政府办公到个性化的推荐系统,都展示着云计算与大数据给人们生活带来的变化。但与此同时,数据中心巨大的能耗问题引起了人们的广泛关注,如何降低数据中心能耗成了工业界和学术界研究的热点问题。本文首先介绍了云平台能耗管理的研究背景、意义、国内外现状及相关基础知识;其次,针对CRUSH算法在节能方面的不足,建立了一个Ceph集群能耗优化模型,并在此基础上提出了一种Ceph集群节能数据副本放置策略。该策略将集群分为运行区和待机区,在考虑用户SLA和集群性能的条件下,将顺序存储和随机存储相结合,从节约能耗的角度对Ceph集群进行了改进;再次,为进一步节约集群能耗,基于改进的Ceph集群建立了一个Docker云资源调度模型,并基于该模型提出了一种节能的云资源调度策略。该调度策略将Ceph集群和Docker容器数据卷的特点相结合,包括应用部署算法和应用迁移算法,其中应用部署算法对Docker Swarm编排器进行了改进,而应用迁移算法则解决了应用迁移过程中容器数据卷不能跨主机迁移的问题;最后,用实验验证了两种策略的有效性和可行性。实验结果表明,该Ceph集群数据副本放置策略,在满足用户SLA(Service-Level Agreement)需求和保证集群性能的条件下,使得数据中心耗电量降低了14.3%;而提出的云资源节能调度策略与原始的Docker Swarm调度策略相比,对集群资源进行了更细粒度的划分,提高了集群资源利用率,进一步降低了数据中心能耗。

关键词： Ceph集群 Swarm编排器数据放置策略弹性调度能耗管理

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：