检索结果-内蒙古大学图书馆

作者：钱伟杭州电子科技大学

学位级别：硕士

随着信息技术的不断发展,全球信息存储量正在以57%的复合年增长率膨胀。大量数据密集型应用对现有的网络存储架构提出了更高的要求。对象存储技术同时具备传统SAN快速访问的特点和NAS跨平台数据共享和强安全性的优势。同时对象存储设备... 详细信息

随着信息技术的不断发展,全球信息存储量正在以57%的复合年增长率膨胀。大量数据密集型应用对现有的网络存储架构提出了更高的要求。对象存储技术同时具备传统SAN快速访问的特点和NAS跨平台数据共享和强安全性的优势。同时对象存储设备本身具备的智能管理功能。因此,对象存储系统具有高性能、可扩展、高可用性和强安全性等特点,是未来网络存储的发展方向。元数据服务器(MetaData Server, MDS)是对象存储系统的重要组成部分,在对象存储系统中的主要功能包括：管理文件系统名字空间、文件／目录和对象物理存储位置之间的映射、用户访问控制等。因此,MDS集群的处理能力是整个对象存储系统高效运作的重要一环。本文分析了当前主流网络存储架构中元数据服务器集群的负载均衡方案。针对元数据服务器性能异构造成的集群负载不均衡问题,本文提出了一种基于权重的元数据服务器集群负载均衡策略(Weight-based Metadata Server Cluster Load Balancing Strategy, WLBS),并对其在Ceph框架中进行实现。本文的主要研究和开发内容包括以下四个方面： (1)在分析对象存储与传统网络存储技术的基础上,总结了MDS负载均衡技术所涉及的包括元数据分区和服务器热点评价两个关键问题； (2)提出了元数据服务器热点评测模型,主要解决准确获取服务负载状况的问题。该模型在传统计数法的基础上增加了对MDS性能值的考虑,提出了基于操作时延的MDS性能模型。该性能模型避免了传统“白盒”性能模型量化资源影响力的难题,准确评估服务器的当前性能值； (3)提出了一种基于权重负载均衡策略,主要解决MDS性能异构情况下的负载均衡问题。该策略根据(2)中热点评测模型获取节点当前的负载状况,并计算出集群的平均负载水平。为了实现负载与性能相对应的目标,高于平均负载水平的MDS会主动以目录子树迁移方式进行负载迁移,将一部分目录子树迁移到低于平均负载水平的MDS,最终实现异构MDS集群的负载均衡； (4)搭建实验平台,并对策略进行实验评测。对WLBS是否具备对异构MDS集群负载进行调整而使负载均衡化和保持MDS集群处理能力进行验证。大量实验证明本文提出的负载均衡策略可以在异构环境下使元数据服务器集群保持负载均衡,提高了系统的元数据处理能力。

关键词：对象存储元数据服务器集群负载均衡基于权重

来源：评论

学校读者我要写书评

暂无评论

支持EB级存储的元数据服务器集群系统

引用

中国科学：信息科学 2015年第6期45卷 721-738页

作者：刘健张军伟邵冰清董欢庆刘振军许鲁中国科学院计锋技术研究所北京100190 中国科学院大学北京100049

随着全球数据总量的快速增长,PB级存储系统已无法满足未来应用对其数据容量的需求,通用、高扩展且易于部署的EB级存储系统的研发势在必行,其核心技术为元数据服务器集群技术.本文介绍了在p NFS和蓝鲸块设备文件系统EXFS基础上研发的支... 详细信息

随着全球数据总量的快速增长,PB级存储系统已无法满足未来应用对其数据容量的需求,通用、高扩展且易于部署的EB级存储系统的研发势在必行,其核心技术为元数据服务器集群技术.本文介绍了在p NFS和蓝鲸块设备文件系统EXFS基础上研发的支持EB级存储的蓝鲸元数据服务器集群技术.首先分析了支持EB级与PB级存储的元数据服务器集群系统的区别;然后介绍了蓝鲸元数据服务器集群原型系统的整体架构及其全局命名空间的分布策略;之后介绍了基于分布式日志的一致性元数据原子操作协议,和细粒度、低延时的元数据负载迁移两项关键技术;最后进行了测试.结果显示,集群系统中每台元数据服务器均可为EB级存储系统提供超过10000 OPS的元数据操作支持.

关键词： EB级存储元数据服务器集群全局命名空间一致性负载迁移

来源：评论

学校读者我要写书评

暂无评论

一种元数据服务器集群的负载均衡算法

引用

小型微型计算机系统 2009年第4期30卷 757-760页

作者：王娟冯丹王芳廖振松华中科技大学信息存储系统教育部重点实验室湖北武汉430074

在基于对象的存储系统中,元数据访问非常频繁,大规模存储系统中元数据的访问是潜在的系统性能瓶颈.元数据服务器集群中必须负载均衡,以防某个元数据服务器成为存储系统访问的瓶颈.现有文章中很少有研究元数据服务器集群的负载均衡的文章... 详细信息

在基于对象的存储系统中,元数据访问非常频繁,大规模存储系统中元数据的访问是潜在的系统性能瓶颈.元数据服务器集群中必须负载均衡,以防某个元数据服务器成为存储系统访问的瓶颈.现有文章中很少有研究元数据服务器集群的负载均衡的文章.本文中采用元数据请求的响应时间来衡量一个元数据服务器的负载情况,首先从映射算法上实现静态负载均衡,并针对元数据热度差别大而引起的负载不均衡引入动态负载均衡,通过仿真结果显示其有效性.

关键词：基于对象的存储元数据服务器集群负载均衡请求响应时间

来源：评论

学校读者我要写书评

暂无评论

软件定义元数据服务器集群技术研究

软件定义元数据服务器集群技术研究

引用

作者：刘健中国科学院大学

学位级别：博士

随着全球数据量的爆炸式增长，传统文件系统无法满足大规模、高性能应用场景对存储性能的需求。2016年，超大规模数据中心容纳全球超过50％的原始计算能力和70％的原始存储容量。数据中心采用虚拟化实现计算层的软件定义功能，当任务到... 详细信息

随着全球数据量的爆炸式增长，传统文件系统无法满足大规模、高性能应用场景对存储性能的需求。2016年，超大规模数据中心容纳全球超过50％的原始计算能力和70％的原始存储容量。数据中心采用虚拟化实现计算层的软件定义功能，当任务到来时启动大量虚拟机进行计算，并根据需求对网络文件系统进行高并发访问，此时元数据服务器(MetaData Server，MDS)集群架构的分布式文件系统显示出性能和功能优势。　　数据中心将MDS集群系统搭建在虚拟化平台上，既实现了多个分布式文件系统复用物理机硬件资源，又实现了元数据负载的热迁移和动态应对计算层访问负载的变化。但是，MDS集群系统虚拟化方案在元数据服务性能和负载迁移效率方面问题凸显。虚拟化技术增加计算层对MDS集群的访问延迟;并且虚拟机占用内存多，执行负载迁移时间长，迁移过程明显降低元数据访问性能。　　本文研究软件定义元数据服务器集群(Software Defined MDS Cluster，SDMDSC)技术，采用映射表隔离分布式文件系统，既实现了硬件资源复用和负载热迁移功能，又保证了系统的元数据访问性能。　　本文提出基于子文件系统分组的命名空间管理机制，建立三层存储资源池模型;基于SDMDSC系统基本架构对子文件系统进行分组管理;通过映射表隔离分布式文件系统。SDMDSC系统元数据访问性能达到MDS集群虚拟化方案的2.55倍以上;MDS物理机最大元数据服务能力超过1万metadata_ops/s，是虚拟化方案的2.34倍。　　本文提出基于细粒度控制的元数据负载迁移机制，建立子文件系统元数据负载迁移模型;通过元数据服务迁移、状态服务迁移和基于细粒度控制的客户端请求重定向，实现无阻塞的基本元数据负载热迁移。SDMDSC系统的元数据负载迁移效率高、对系统性能影响小，迁移过程可以在1s内完成，负载迁移使元数据访问性能下降9.1％，下降幅度是虚拟化方案的66％。　　本文提出基于二次重定向的分布式元数据负载迁移机制，通过在分布式元数据操作的协调者和参与者都发生负载迁移时分别执行请求重定向，实现分布式元数据负载热迁移。SDMDSC系统分布式元数据操作性能为虚拟化方案的2.2倍;负载迁移使分布式元数据访问性能下降7.7％，下降幅度是虚拟化方案的43％。

关键词：分布式文件系统软件定义元数据服务器集群负载迁移

来源：评论

学校读者我要写书评

暂无评论

pNFS元数据服务器集群技术研究

pNFS元数据服务器集群技术研究

引用

作者：詹天华中科技大学

学位级别：硕士

随着网络技术和信息数字化的快速发展，面向海量数据的大型应用纷纷涌现，数据中心里存储服务器集群规模随之不断增大，越来越多的存储节点，给存储系统中的元数据服务器带来了更重的负担，元数据服务器的性能逐渐成为系统中的瓶颈。同... 详细信息

随着网络技术和信息数字化的快速发展，面向海量数据的大型应用纷纷涌现，数据中心里存储服务器集群规模随之不断增大，越来越多的存储节点，给存储系统中的元数据服务器带来了更重的负担，元数据服务器的性能逐渐成为系统中的瓶颈。同时，在单一元数据服务器的存储系统中，系统的扩展性和可靠性受到了严重地制约。因此人们提出了元数据服务器集群技术来提高元数据服务器的性能、可靠性以及扩展性。在研究了现有常见文件系统中元数据服务器集群的设计与实现后，总结出元数据服务器集群技术中，最常见的几种组织元数据的策略，并分析了它们各自的优劣。在现有技术的基础上，提出了基于副本的静态子树分割策略。使用子树划分将元数据划分到集群中不同的服务器上，每台服务器负责处理部分元数据的请求，同时，在集群中为每份元数据维护一定数量的副本，利用元数据请求的重定向，将元数据的访问均衡到不同的副本上，大大降低了系统中出现热点的几率。最后，实现了基于副本的静态子树分割元数据集群应用于分布式并行文件系统（pNFS），功能上实现了元数据服务器的在线扩展、失效处理、失效恢复、负载均衡等功能。测试表明基于副本的静态子树分割元数据集群大幅提高了pNFS的可靠性、扩展性和性能，利用元数据集群中的元数据副本，实现了负载均衡，消除了系统中的热点，弥补了传统静态子树分割的不足。

关键词：元数据服务器集群副本可靠性可扩展性负载均衡

来源：评论

学校读者我要写书评

暂无评论

基于LDAP的元数据服务器集群的研究与实现

基于LDAP的元数据服务器集群的研究与实现

引用

作者：李相娜华中科技大学

学位级别：硕士

信息的爆炸性增长对当前的存储技术提出了巨大挑战。新的对象存储技术,能为存储系统提供高性能和高可扩展性,是构建大规模、分布存储系统的基础,正逐渐成为存储领域研究的一个热点。元数据服务器子系统作为对象存储体系的一个核心部分,... 详细信息

信息的爆炸性增长对当前的存储技术提出了巨大挑战。新的对象存储技术,能为存储系统提供高性能和高可扩展性,是构建大规模、分布存储系统的基础,正逐渐成为存储领域研究的一个热点。元数据服务器子系统作为对象存储体系的一个核心部分,是实现分布式对象分布存储的关键。然而,以前的单一元数据服务器结构在服务效率、可用性和扩展性方面都无法对大型对象存储系统中多达TB甚至PB级的数据进行有效管理,必须将元数据服务器扩展成为集群方式。因此,研究如何构建元数据服务器集群、为存储系统提供高效率的元数据服务,成为一项重要而急待解决的课题。在对象存储系统体系结构研究的基础上,利用轻量级目录访问协议LDAP(Lightweight Directory Access Protocol)良好的分布式目录服务能力,针对元数据服务器的功能,设计了一个基于LDAP的元数据服务器集群(LMDS Cluster)。该集群在结构上将服务提供与请求处理分离,整个系统没有集中控制点,是完全分布式的管理。在元数据存储方面,采用基于散列法的元数据分布策略,将对象ID作为散列依据把元数据分布到各个节点上。在系统服务方面,给出了一种动态反馈的负载均衡机制,使得LMDS Cluster能够合理利用集群中的资源,发挥系统的最高效能。在元数据副本一致性方面,设计了一个两段同步协议,能够保证各镜像节点实时地在线同步。目前已经实现了LMDS Cluster的原型系统。测试证明,它能够为客户的并发元数据操作请求提供快速的处理与响应服务,性能稳定,具备大规模对象存储系统的元数据管理能力。

关键词：对象存储元数据元数据服务器集群负载均衡数据同步

来源：评论

学校读者我要写书评

暂无评论

基于访问热点的pNFS元数据服务器集群优化技术研究

基于访问热点的pNFS元数据服务器集群优化技术研究

引用

作者：高亮华中科技大学

学位级别：硕士

高性能计算及网络技术的飞速发展给文件系统提出了越来越高的要求,文件的快速存储及访问成为提升系统整体性能的重要方式。分布式文件系统将文件的数据流和控制流分开,可以加速文件的访问速度。然而随着系统规模的持续增长,元数据服务... 详细信息

高性能计算及网络技术的飞速发展给文件系统提出了越来越高的要求,文件的快速存储及访问成为提升系统整体性能的重要方式。分布式文件系统将文件的数据流和控制流分开,可以加速文件的访问速度。然而随着系统规模的持续增长,元数据服务器面临的压力也越大,在这种情况下,一般使用元数据服务器集群来有效的提升元数据访问的效率,增加整个系统的可靠性。围绕元数据服务器集群技术,在研究了当前的元数据管理与组织方式的基础上,深入分析现有的基于静态子树的p NFS元数据服务器集群,指出系统不能使集群中的服务器的负载达到比较均衡的状态。基于文件访问的不平衡特性,针对静态子树元数据管理技术的不足,提出了创建热点元数据子树多副本方法,将元数据的访问进行统计,找出读取热点,创建别名,在不改变静态子树划分结构的基础上,将热点元数据分发到元数据集群中的所有机器上,并形成独立子树,确保其可以同时提供服务。该方法在客户端访问热点元数据时,可以根据元数据服务器负载情况完成元数据的访问,增强并行服务能力,用较小的代价解决了元数据服务器集群由于静态子树划分而引起的局部负载过高导致的性能瓶颈问题。测试结果表明,在由4台机器组成的元数据集群中,在5层目录且只访问热点元数据时,改进后的系统可以提升近3倍的吞吐量。在Saskatchewan-HTTP负载测试中,系统的吞吐量也有32.7%的提升。同时,系统的负载均衡性比改进前的系统要好。访问热点子树多副本技术可以起到提升系统性能并平衡负载的作用。

关键词：元数据服务器集群静态子树访问特性访问热点子树负载均衡

来源：评论

学校读者我要写书评

暂无评论

SAN文件系统元数据服务器集群体系结构及关键技术研究

SAN文件系统元数据服务器集群体系结构及关键技术研究

引用

第十三届全国信息存储技术学术会议

作者：贾瑞勇张延园西北工业大学计算机学院西安710072

SAN文件系统是一种基于存储区域网络的分布式文件系统,其设计目标是保持传统分布式文件系统的文件共享语义,同时可达到接近于本地文件系统的性能.元数据服务器集群是提高SAN文件系统性能、可扩展性和可用性的关键.本文给出了一种新颖的... 详细信息

SAN文件系统是一种基于存储区域网络的分布式文件系统,其设计目标是保持传统分布式文件系统的文件共享语义,同时可达到接近于本地文件系统的性能.元数据服务器集群是提高SAN文件系统性能、可扩展性和可用性的关键.本文给出了一种新颖的元数据服务器集群模型,该模型具有良好的可扩展性和容错能力,并能提供高度并发的元数据服务;深入探讨了实现该模型的两大关键技术:组通信和元数据管理,最后简单介绍了目前国际上的发展现状和研究趋势.

关键词：存储区域网络元数据服务器集群 SAN文件系统

来源：评论

学校读者我要写书评

暂无评论

一种基于分组的元数据服务器集群管理方法

一种基于分组的元数据服务器集群管理方法

引用

作者：谭支鹏崔捷冯丹杜立周炜陈俭喜 430074 湖北省武汉市洪山区珞喻路1037号

本发明公开了一种基于分组的元数据服务器集群管理方法，包括：将MDS集群中的N个MDS划分为M个分组，每个分组内有且只有一个主MDS，其余的为从MDS，将MD5哈希算法的哈希值范围平均划分为S个分段，将S个分段平均分配给M个分组中的N个MDS... 详细信息

标准号: CN103294785B

本发明公开了一种基于分组的元数据服务器集群管理方法，包括：将MDS集群中的N个MDS划分为M个分组，每个分组内有且只有一个主MDS，其余的为从MDS，将MD5哈希算法的哈希值范围平均划分为S个分段，将S个分段平均分配给M个分组中的N个MDS管理，每个MDS使用一张组内分段定位表和一张组外分段定位表保存分段的分配记录，任意一个MDS接收元数据对象定位请求，根据元数据对象路径名计算对应的分段并对分段进行定位，每个MDS上保存一张分段热度表，每当一个MDS返回一条分段的查询命中消息，该MDS就计算并更新自身分段热度表中对应分段的热度。本发明能够解决现有方法中存在元数据映射关系固定、元数据定位效率不高、MDS集群负载不均衡的问题。

关键词：分段分组分段定位热度表元数据元数据服务器集群对应数据对象定位元数据对象定位效率分段进行分段平均分配记录管理方法哈希算法平均划分映射关系表保存不均衡哈希值接收元路径名计算热度一种组内组外命中查询保存返回划分请求分配更新固定公开自身管理解决

来源：评论

学校读者我要写书评

暂无评论

对象存储系统中元数据管理研究

对象存储系统中元数据管理研究

引用

作者：王娟华中科技大学

学位级别：博士

对象存储系统采用了一种新的接口——对象接口，有效综合了块接口的快速直接访问、存储设备可扩展的交换结构与文件接口的安全性、跨平台数据共享等优点，同时对象接口能够提供比其他任何一种接口更为丰富的语义，其基本单位是对象，对... 详细信息

对象存储系统采用了一种新的接口——对象接口，有效综合了块接口的快速直接访问、存储设备可扩展的交换结构与文件接口的安全性、跨平台数据共享等优点，同时对象接口能够提供比其他任何一种接口更为丰富的语义，其基本单位是对象，对象除了包含用户数据外，还包含能描述对象特征的访问属性。\n 在大规模对象存储系统中，元数据访问非常频繁，是系统性能潜在的瓶颈，需要研究高性能、可扩展的元数据管理方法。在对象存储系统中，数据放置策略负责将文件映射为对象、为对象选择合适的对象存储设备存放，在需要访问对象时要快速定位到对象所在的对象存储设备，它对系统访问性能有关键性的影响，需要根据系统的规模选择合适的数据放置策略。另一方面，元数据服务器中的元数据记录了文件和目录信息与对象之间的关系，元数据的丢失将导致数据无法访问，因此元数据的可靠性维护至关重要。\n 提出一种分布式元数据管理方案，以提供高性能和可扩展的元数据访问。它采用仿层次目录结构，针对元数据的不同访问特性将元数据灵活分布在元数据服务器集群中。在深入分析传统文件系统中与用户组件部分相关的元数据组成结构的基础上，结合数据库能提供高事务吞吐量的特点，提出一种改进的元数据存储和管理方法，提高访问速度；在系统中不再用持久存储(如磁盘)来存储记录文件名到索引节点号映射关系的目录数据，而是采用一种间接的方案来模拟层次目录结构，避免层次目录结构自身成为热点，从而提供高性能、可扩展的元数据访问；引入目录转换元数据以避免子树分割方案中的目录遍历和哈希方案中的重命名目录导致的大量元数据迁移，提高元数据总体访问性能；针对每种元数据自身的访问特性，采用不同的分割方法将其分布在元数据服务器集群中，方便系统规模扩展。实验结果表明该方案在提高元数据访问性能和系统可扩展性方面有明显优势。\n 由于元数据访问负载随时间动态变化，元数据在元数据服务器集群中的静态分配可能会导致某一时刻某个元数据服务器成为访问瓶颈，为了在元数据服务器集群中提供高性能、可扩展的元数据服务，需要在元数据服务器之间均衡负载。提出一种以文件元数据请求的响应时间为衡量标准、应用于元数据服务器集群的负载均衡算法，使集群中所有元数据服务器的响应时间差别较小，达到元数据服务器集群的负载均衡，从而提高元数据服务器整体性能。\n 提出一种利用遗传算法根据文件的不同特性求解数据放置的策略，它用于在系统规模较小、对象存储设备总数固定的应用环境中寻求系统性能的近似最优解。提出基于组的区分定位策略，它用于在系统规模较大且对象存储设备总数可能发生变化的应用环境中解决对象放置问题。它首先根据对象存储设备加入系统的不同时期将每个对象存储设备划分到不同的存储子集群，先采用分布式算法将对象映射到系统的某个子集群中，再在子集群内部根据不同类型的对象采用不同的映射方法，对新创建的大对象采用启发式方法来选择负载较轻的对象存储设备存放，对小对象采用改进哈希算法来决定其所在的对象存储设备，兼顾了对象分布的灵活性和系统可扩展性。实验结果表明该策略具有很好的性能和可扩展性。其中改进哈希算法是基于子集群内对象存储设备规模的变化规律提出的一种新的分布式算法，它既能继承简单哈希算法的计算开销小和均匀分配对象的优点，又能以近似最优的对象迁移开销有效支持子集群内的对象存储设备规模的变化。\n 提出一种采用扩展属性页来提高元数据可靠性的方法，它利用对象存储系统富有表达力的对象接口来提高系统元数据可靠性，并采用Markov 模型对其可靠性进行分析。该方法不需要额外的硬件配置，且不排斥其他的提高存储系统元数据可靠性的方法，为提供更高的元数据可靠性提供了一种补充方案。

关键词：对象存储系统元数据元数据服务器集群负载均衡放置策略可靠性

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：