检索结果-内蒙古大学图书馆

作者：黄秋兰中国科学院大学

学位级别：博士

新一代高能物理实验产生了海量的数据，这些数据的存储和高速访问对海量存储系统在可用性、可扩展性及IO访问性能上提出了新的挑战。元数据管理是海量存储技术的研究热点，它对海量存储系统在可扩展性、可用性及高效性方面起着十分重要... 详细信息

新一代高能物理实验产生了海量的数据，这些数据的存储和高速访问对海量存储系统在可用性、可扩展性及IO访问性能上提出了新的挑战。元数据管理是海量存储技术的研究热点，它对海量存储系统在可扩展性、可用性及高效性方面起着十分重要的作用。为有效管理海量存储系统的元数据，实现数据的高效存取和定位，论文研究了分布式元数据管理系统及其关键技术，设计了新型动态可扩展的分布式元数据管理系统StarFS，并在Gluster开源框架的基础上进行了实现，旨在解决高能物理海量存储系统的元数据性能和可扩展性问题。本研究主要内容包括：\n ⑴元数据信息的存储和分布策略。本文对海量存储系统的元数据管理问题进行分析研究，提出了一种自适应目录子树划分的元数据分布算法(ADSP)。算法将文件系统的层次逻辑空间，以目录为粒度划分为一个个子树，子树在存储设备上以扁平化结构存储，利用扩展属性记录子树的元数据分布信息和文件属性，子树根据元数据服务集群的负载情况自适应调整，实现元数据服务集群的负载均衡和动态扩展。ADSP算法是一种改进的子树划分算法，既有静态子树划分算法的实现简单、计算复杂度低的优势，又克服了动态子树划分算法复杂，开销大的不足，实现更为灵活的元数据管理，提高系统的可扩展性。\n ⑵数据存储和定位算法研究。本文针对海量存储系统的动态可扩展和数据高效定位的问题，提出了分布式统一布局算法(DULA)，实现数据的均匀分布和数据的高效定位。该算法是一种改进的一致性哈希算法，不需要任何的路由信息，实现一次定位，平均时间复杂度为O(1)。实验说明，DULA算法能实现均匀的数据分布和高效的数据访问。此外，文中提出海量存储系统中哈希算法的三个评价标准，并根据衡量标准对主流的哈希算法从理论和软件模拟两方面进行了比较分析，为DULA算法对哈希算法的选择提供理论依据。\n ⑶构建了Key-Value存储结构与逻辑结构的映射，支持文件系统的POSIX语义。文件系统的逻辑结构与数据的物理存储结构的映射是文件系统的关键技术之一。本文基于树形结构的思想，对文件系统的存储结构提出多目录存储方法。一方面，通过唯一标识文件的UUID的哈希值高效定位到具体的目录层次;另一方面，多层目录树的设计能有效防止EXT3/EXT4本地文件系统下单个目录的inode个数过多造成的性能降低。\n ⑷提出了软硬件相结合的元数据服务的可靠性方案。硬件方面，磁盘RAID技术和双机热备技术相结合，避免硬件故障引起的系统不可用;软件方面，采用远程备份和数据副本技术，并针对副本的放置问题，提出多哈希副本分布算法，解决元数据集群中数据丢失的问题，实现元数据集群的负载均衡，从而提高数据的可靠性和系统的可用性。

关键词：元数据管理数据存储子树划分程序语言

来源：评论

学校读者我要写书评

暂无评论

HDFS元数据管理与数据组织优化研究

HDFS元数据管理与数据组织优化研究

引用

作者：王有为中国科学院大学

学位级别：博士

云计算和Web2.0应用对分布式存储系统提出了如下性能要求:极高的聚合读写带宽，庞大的名字空间管理能力以及均衡的数据读写负载。然而现有分布式文件系统存在诸多设计和实现上的缺陷，例如扩展性差，读写性能不理想、元数据管理的性能... 详细信息

云计算和Web2.0应用对分布式存储系统提出了如下性能要求:极高的聚合读写带宽，庞大的名字空间管理能力以及均衡的数据读写负载。然而现有分布式文件系统存在诸多设计和实现上的缺陷，例如扩展性差，读写性能不理想、元数据管理的性能瓶颈和数据可靠性较低等无法回避的问题，严重制约了实际应用与部署。在这种背景下，本文针对海量数据存储和管理中的元数据组织，I/O性能优化和海量数据管理等问题展开研究。本文的主要工作及创新点如下:　　(1)提出了一种基于多元数据服务器组织文件系统名字空间的方法。海量离线数据分析任务中需要处理大量文件，高效管理这些文件极为重要。我们提出并实现了两项关键技术:通过一种快速的元数据分布与映射策略确保了元数据均衡分布，以及一种改进的两阶段提交协议确保在执行跨节点操作时，系统状态能维持一致。　　(2)提出了一种海量数据管理以及文件系统动态优化的方法。现有数据副本可靠性技术主要通过心跳汇报实现，当数据块到达一定规模时，集中式块汇报机制将面临性能瓶颈问题。我们将原先的单点块汇报处理机制进行分区，实现了分布式数据块状态汇报机制，消除了原系统的性能瓶颈，获得了良好的扩展性。　　(3)提出了一种面向分布式文件系统的数据布局优化方法。对于分布式文件系统而言，数据存储布局在长期运行后可能由于热点漂移发生劣化现象，轻者影响数据读写性能，重者影响系统稳定工作并可能诱发设备故障。我们提出的方法结合了静态分配和动态迁移策略，在任务分配时和系统运行时自动均衡节点负载。实验结果证明了该方法有效实现了集群负载均衡化，消除了数据集中访问导致的I/O热点问题，一定程度上优化了上层应用性能。　　(4)提出了一种综合多种技术优化的数据加载方法。使用Map/Reduce处理海量数据的首要步骤是将数据从本地文件系统上传至HDFS。当数据规模极为庞大时，将导致严重的时间耗费以及空间浪费。我们通过文件系统间的元数据映射机制加速了数据上传过程，同时优化了主机间数据交互以及校验和生成过程。　　(5)综合上述技术实现了一种新型分布式文件系统Prism。该系统实现了可扩展的元数据管理，高吞吐率I/O操作以及动态均衡集群负载的能力。我们通过实验验证了该系统在生产应用中的实际性能，进一步检验了上述技术的有效性。

关键词：分布式文件系统元数据管理性能优化海量数据

来源：评论

学校读者我要写书评

暂无评论

基于本体和语义网格的空间元数据管理研究

引用

计算机工程与设计 2007年第8期28卷 1979-1982页

作者：聂茹李政伟中国矿业大学计算机科学与技术学院江苏徐州221008

随着Internet的飞速发展,网络中的空间信息资源也在急剧膨胀。首先分析了目前空间元数据管理中存在的问题;接着对基于语义网格的空间元数据管理体系进行了深入研究,提出利用本体技术实现空间元数据在不同行业中的全面共享,并给出具体的... 详细信息

随着Internet的飞速发展,网络中的空间信息资源也在急剧膨胀。首先分析了目前空间元数据管理中存在的问题;接着对基于语义网格的空间元数据管理体系进行了深入研究,提出利用本体技术实现空间元数据在不同行业中的全面共享,并给出具体的框架模型;最后结合具体实例对此模型进行了详细地分析。

关键词：本体语义网格空间元数据元数据管理集成本体

来源：评论

学校读者我要写书评

暂无评论

分布式文件系统元数据管理技术研究与实现

分布式文件系统元数据管理技术研究与实现

引用

作者：冯幼乐中国科学技术大学

学位级别：硕士

分布式文件系统通过将多台机器的资源组织起来,对外提供统一的、大容量、高性能、高可靠,易扩展的文件服务,满足了大规模应用的要求,是目前存储领域研究的重点和难点。针对文件系统中元数据和文件数据存储和访问的不同特点,分布式文件... 详细信息

分布式文件系统通过将多台机器的资源组织起来,对外提供统一的、大容量、高性能、高可靠,易扩展的文件服务,满足了大规模应用的要求,是目前存储领域研究的重点和难点。针对文件系统中元数据和文件数据存储和访问的不同特点,分布式文件系统通常包括数据存储系统和元数据管理系统。为应对大量的元数据操作请求,保障元数据操作的一致性和可靠性,元数据管理系统的设计与实现及其重要。本文设计并实现了分布式文件系统LandFile的元数据管理系统,研究了分布式文件系统元数据管理的关键问题以及解决策略,具体内容如下: 研究了面向节能的元数据服务器集群的负载均衡策略:大规模的应用中,能源问题越来越成为人们关注的焦点。本文在动态元数据管理策略的基础上,提出了一种面向节能的负载均衡策略,通过在负载较低时,主动关闭元数据服务器集中负载,达到整体节能的目的。随着负载的增加,再逐步打开元数据服务器对外提供服务。良好设计的动态元数据管理策略保证了服务器加入和退出时的平滑扩展。实验表明面向节能的负载均衡策略在负载低谷时,节能效果非常明显,对系统性能亦影响较小。研究了元数据管理的一致性保障策略:分布式条件下元数据可能存在多个副本,许多元数据请求可能涉及多台元数据服务器,本文设计了基于主节点的元数据缓存架构,实现了多副本元数据的更新策略,针对分布式操作,设计并实现了基于两阶段提交的协议来保证其一致性。研究了元数据管理的可靠性保障策略:本文研究了元数据服务器的节点管理、故障检测以及故障恢复机制,实现了区域自治的节点管理方法和基于日志的可靠性保障策略,保证了元数据服务器单点失效时,能够被快速替换和恢复,失效时系统仍能无间断的提供服务。利用上述研究的负载均衡策略,一致性保障策略与可靠性保障策略,设计并实现了元数据管理系统,包括元数据请求处理和可靠性模块,改进了负载均衡模块。所研究实现的元数据管理子系统,是863课题“新一代业务运行管控协同支撑环境的开发(2008AA01A317)”中分布式文件系统LandFile的重要组成部分。

关键词：分布式文件系统元数据管理节能负载均衡缓存一致性基于日志的故障恢复机制

来源：评论

学校读者我要写书评

暂无评论

面向海量访问的元数据管理技术研究

面向海量访问的元数据管理技术研究

引用

作者：张静逸中国电子科技集团公司电子科学研究院

学位级别：硕士

随着云计算、大数据等技术的兴起和普及,存储系统得到了迅速发展。如何构建一个高效且可靠的存储系统来为大型信息系统和国民大数据应用提供良好的系统支撑至关重要。元数据是存储系统的重要组成部分,现今在海量访问场景下文件系统中对... 详细信息

随着云计算、大数据等技术的兴起和普及,存储系统得到了迅速发展。如何构建一个高效且可靠的存储系统来为大型信息系统和国民大数据应用提供良好的系统支撑至关重要。元数据是存储系统的重要组成部分,现今在海量访问场景下文件系统中对元数据的访问操作占据了系统大半的工作负载,而业界的文件系统又是通过建立元数据集群来分布式地管理元数据的,因此高效地管理元数据不仅是提升系统性能的关键,也具有重要的学术及应用价值。元数据是集群提供一切服务的基础,围绕元数据管理技术而展开的研究成为了热点,现阶段仍存在以下主要问题:1)元数据部署分布时,哈希映射和子树划分分别存在元数据局部完整性不佳、文件系统层次结构遭到破坏、负载均衡效果不佳等问题,导致文件系统中元数据的局部完整性和集群的负载均衡性难以同时满足;2)元数据存取时,海量访问使得系统中元数据请求量庞大、命中率较低、存取流程被动等问题。本论文围绕着分布式文件系统中的元数据管理技术,针对海量访问场景下的分布式文件系统,从元数据集群部署管理、负载均衡和存取管理方式几个方面出发,对现有的元数据管理技术进行了探索与研究,缓解数据震荡、访问偏斜等问题,减轻高并发访问所导致的过载压力,提高元数据的服务性能,继而构建一个高效且可靠的存储系统。本文研究的主要工作有:1)提出一种新型的多池式元数据部署架构对元数据进行合理的划分和部署,并结合新的子树动态迁移策略更好地权衡元数据局部完整性和负载均衡性,较动态子树方案Ceph相比,在负载均衡性持平的同时,局部完整性提高了38%;2)提出一种基于隐式关联关系的元数据预取方法提升文件系统的预取准确度和缓存命中率,并设计两阶段缓存改进了存取流程、加快元数据访问操作速率,结合了预取算法的存储缓存模拟器的效率得到了大幅提升,缓存命中率提高了25%-33%;3)基于Ceph实现一套能够很好权衡元数据局部完整性和负载均衡性且具有预取功能的元数据管理方案。最后进行对比测试,元数据服务性能提升17.6%,系统1MB和4KB读写性能的提升4.5%和13%,实验结果证明了本元数据管理方案的优越性。

关键词：分布式文件系统元数据管理负载均衡元数据预取迁移缓存文件关联关系

来源：评论

学校读者我要写书评

暂无评论

并行文件系统元数据管理研究

并行文件系统元数据管理研究

引用

作者：何飞跃华中科技大学

学位级别：硕士

随着高性能微处理器、高速网络的出现和对计算能力需求的增大,以廉价硬件和软件支撑的集群系统越来越被广泛地使用,引起集群技术的迅猛发展。集群文件系统是集群的一个重要组成部分,作为一种集群体系结构上的并行文件系统,它为用户提供... 详细信息

随着高性能微处理器、高速网络的出现和对计算能力需求的增大,以廉价硬件和软件支撑的集群系统越来越被广泛地使用,引起集群技术的迅猛发展。集群文件系统是集群的一个重要组成部分,作为一种集群体系结构上的并行文件系统,它为用户提供一个虚拟化大容量存储器的统一访问接口和高I/O带宽。由于集群文件系统的文件数据分散存储在各个结点上,文件的定位需要借助元数据来完成,元数据的管理成为管理数据的一个关键。为了提高元数据管理的可靠性,需要具有容错能力的元数据管理系统。为此,我们针对集群文件系统的元数据管理,设计了一个双元服务器系统。该系统内部由两台元数据服务器组成,通过对元数据的镜像产生副本,保证元数据的可靠性;通过主服务器失效后从服务器接管服务来屏蔽故障,保证元数据服务的连续性。系统具有集中管理方式控制简单、易于实现和维护等优点,克服了其单一失效点的缺陷,同时又避免了分布式管理的一致性维护设计与开销。在Linux内核空间实现元数据镜像技术、故障检测技术、IP接管技术和恢复技术,具有对应用程序透明性的特点。系统的最终目的是将其结构推广到多机情况下,进一步提高容错能力,实现高可用性。为了提高元数据服务器的处理效率,提出了一种寄生式元数据存储管理方法。并行文件系统的元数据寄生在本地文件系统内核中,通过增加系统调用实现对寄生元数据的操作,保证对现有系统的兼容性。将该方法应用于PVFS(Parallel Virtual File System)的元数据管理,元数据操作性能提高大约5～8倍。

关键词：集群并行文件系统元数据管理高可用镜像故障屏蔽

来源：评论

学校读者我要写书评

暂无评论

海量网络数据环境下的元数据管理及应用

海量网络数据环境下的元数据管理及应用

引用

作者：常思源北京邮电大学

学位级别：硕士

元数据是描述数据的数据。这个名词起源于1969年,是由Jack ***提出的。它第一次正式出现是在美国国家宇航局1987年发布的《目录交换格式》文档中,至今已经有近三十年的发展。近年来,大数据处理技术和数据分析技术不断发展,分析过程所依... 详细信息

元数据是描述数据的数据。这个名词起源于1969年,是由Jack ***提出的。它第一次正式出现是在美国国家宇航局1987年发布的《目录交换格式》文档中,至今已经有近三十年的发展。近年来,大数据处理技术和数据分析技术不断发展,分析过程所依赖的元数据直接关系数据分析结果的准确性,越来越受到人们的重视。海量网络数据环境促使元数据使用场景爆发式地增长,同时也带来了元数据种类激增、量级增大、不同种类元数据间耦合性增强、元数据实效性和一致性难以保证等诸多问题和挑战。本文运用JavaEE、JPA、JDBC等技术,设计和实现了海量网络数据环境下的元数据管理系统的系统架构、软件架构、数据库、REST API等。本文设计和实现的元数据管理系统为用户提供统一的、一致的操作界面和平台,为元数据平台的管理者提供完整的版本管理策略,并具有一定的容灾能力。此外,本文设计和实现的元数据管理系统支持分层的权限管理,支持日志查询,使元数据管理更加高效、便捷。IP和域名是很重要的元数据。在现有的IP资源库中,并没有准确存储IP和域名两者的关联信息。本文首先对现有的IP资源库进行了数据覆盖率、数据重合率、数据可信度等多个维度的对比分析,并且设计和实现了基于元数据管理系统的IP资源库。然后本文对IP和域名的对应关系的存储加以研究,通过对比分析和研究编辑距离、LCS算法、GST算法、字符串汉明距离和相邻度等算法,确定了域名相似度的计算方法,并重点阐述了 IP和域名数据在入库过程中的数据产生算法和数据插入算法。最后,本文对IP和域名这两种重要的元数据从流量、访问用户数、综合访问量、平均用户流量、省份和地市特征等多个角度进行分析与研究,并通过聚类的方式研究和分析了几种常见的用户兴趣模式。

关键词：海量网络数据元数据元数据管理流量分析

来源：评论

学校读者我要写书评

暂无评论

电信企业数据仓库中元数据管理的探索与实践

引用

电信科学 2009年第7期25卷 79-84页

作者：彭辛庚陈湘涛湖南大学计算机与通信学院长沙410082 中国移动通信集团公司北京100140

本文首先分析了电信企业数据仓库中数据管理存在的问题,引出元数据管理的目标和元数据管理系统要实现的主要功能,并设计了元数据管理系统的总体架构。在具体实现中重点探讨了元数据的自动获取技术和接口技术,然后举例说明了元数据管理... 详细信息

本文首先分析了电信企业数据仓库中数据管理存在的问题,引出元数据管理的目标和元数据管理系统要实现的主要功能,并设计了元数据管理系统的总体架构。在具体实现中重点探讨了元数据的自动获取技术和接口技术,然后举例说明了元数据管理的几个主要应用,最后对元数据管理系统的发展进行了展望。

关键词：电信企业数据仓库 CWM规范元数据管理元数据获取

来源：评论

学校读者我要写书评

暂无评论

海量存储系统元数据管理的研究

海量存储系统元数据管理的研究

引用

作者：吴伟华中科技大学

学位级别：博士

随着新型存储技术的快速发展以及人们对存储应用需求的不断增长,网络存储系统的发展日新月异。存储系统正向着大存储容量、高传输带宽、高可靠性和易于管理的方向不断前进。在大规模海量存储系统的设计中,文件系统的元数据管理成为一个... 详细信息

随着新型存储技术的快速发展以及人们对存储应用需求的不断增长,网络存储系统的发展日新月异。存储系统正向着大存储容量、高传输带宽、高可靠性和易于管理的方向不断前进。在大规模海量存储系统的设计中,文件系统的元数据管理成为一个关键研究点,它对海量存储系统的性能、安全、可用性和可扩展性等方面产生重要影响。在对海量存储中元数据管理的瓶颈问题进行分析和研究的基础上,构建了一种具有层次结构的元数据服务器集群体系结构模型,进而设计一种层次性目录哈希元数据分布算法。另外,基于该体系结构和层次性元数据分布算法,对海量存储系统的可扩展性和负载均衡等问题进行了研究。论文的主要工作包括如下内容：在分析传统元数据服务器结构的基础上,从数据访问效率、管理功能灵活性出发,将元数据服务器集群划分成索引管理服务器和存储管理服务器两个部分。从功能的角度看,索引管理服务器起到“元”元数据服务器的角色。这种体系结构潜在地使元数据服务器集群具有更好的性能和可扩展性,不仅有利于文件系统元数据在集群内的高效分布和查询,而且层次清晰的模块化结构也为海量存储系统的各种应用研究提供了一个良好的平台架构。在海量存储系统元数据服务器集群体系结构的基础上,提出了一种层次性目录哈希的元数据分布算法。该算法是一种改进的哈希算法,它引入了目录存储单元和索引管理服务器的概念,通过对文件系统的目录进行哈希,以目录粒度在元数据服务器集群中分布元数据,目的是提高存储系统中元数据的访问效率。层次性目录哈希算法可以克服传统文件哈希类算法在扩展性和负载均衡方面的不足,实现更为灵活的元数据分布管理,并获得良好的存储系统可扩展性。针对海量存储系统的规模可扩展性和性能可扩展性问题,传统的基于文件哈希的元数据分布算法往往存在一些技术缺陷,如,系统扩展会产生大量额外的元数据请求和引发大规模的元数据迁移,降低了存储系统的性能。层次性目录哈希元数据分布算法引入了专门的管理节点——索引管理服务器,有助于系统元数据的灵活管理,在执行存储系统扩展性操作时可以降低操作的复杂度,减小衍生的额外负载,提高操作的执行效率。在几种典型的较易引发扩展性瓶颈的操作中,如更改目录名、删除目录、修改目录访问权限、增加或删除元数据服务器节点等,层次性目录哈希算法在系统可扩展性方面都要比文件哈希算法表现得更为出色。针对分布式存储系统环境下的负载均衡问题,对存储系统元数据操作的特性和性能影响进行了研究,给出了衡量存储节点负载分布状态的负载均衡公式,并提出了一种层次式动态负载均衡策略来调节存储系统内各节点的负载分布,使负载更为均衡、合理。该算法在系统中设置一个负载均衡管理服务器,借助在索引管理服务器集中收集到的元数据服务器节点的负载状态信息,来制定相应的负载调整策略,对元数据服务器节点的负载状态进行调节,使整个元数据服务器集群达到一个动态的、平稳的负载均衡状态,从而提高了系统的整体性能。

关键词：海量存储系统元数据管理元数据分布算法可扩展性数据迁移负载均衡

来源：评论

学校读者我要写书评

暂无评论

面向海量存储的机群文件系统元数据管理关键技术研究

面向海量存储的机群文件系统元数据管理关键技术研究

引用

作者：邢晶中国科学院研究生院

学位级别：博士

随着信息化的发展，海量存储的需求日益增长。提供海量存储数据管理功能的机群文件系统正受到学术界和产业界的广泛重视。由于海量存储应用具有超大规模文件管理和超大规模数据存储访问的特点，在元数据管理和数据访问上对机群文件系统... 详细信息

随着信息化的发展，海量存储的需求日益增长。提供海量存储数据管理功能的机群文件系统正受到学术界和产业界的广泛重视。由于海量存储应用具有超大规模文件管理和超大规模数据存储访问的特点，在元数据管理和数据访问上对机群文件系统提出高可扩展性的需求。由于元数据名字空间组织耦合度高和存储空间管理集中，当前的机群文件系统在元数据和数据规模较大时会出现可扩展能力差，服务器负载不均衡等问题。\n 针对机群文件系统在面向海量存储时出现的可扩展性问题，本文研究将元数据和数据管理结构划分成均匀粒度并均衡分布到多个服务器的方法。\n 本文的主要贡献如下：\n (1)提出了一种自适应可扩展的名字空间管理方法。机群文件系统的名字空间管理在面对海量文件尤其是大目录时会由于目录元数据结构在多元数据服务器的划分不够均衡而难以实现处理性能的可扩展。为了解决这一问题，我们提出了一种动态划分目录元数据结构的方法，它利用动态哈希技术(Extendible Hashing)对目录内的元数据进行组织，可以根据目录规模控制目录划分结构的大小和数量，均匀分布到多元数据服务器上。实验结果表明，该方法优于其他静态划分名字空间的方法，能够在全目录范围提供较高的元数据处理能力。\n (2)提出了一种自适应可扩展的存储空间管理方法。存储空间管理的本质问题是维护数据与服务器的映射关系。面对海量存储，存储空间管理需要支持数据的均衡放置和数据的快速定位。然而数据放置需要集中式处理以做到对系统全局资源的准确分布；而数据定位需要分布式处理以避免定位查询造成系统热点，影响系统可扩展性。为了同时满足数据放置和数据定位的需求，我们提出了一种自适应可扩展的存储空间管理方法。该方法先对存储空间中的对象文件建立索引结构，然后建立对象文件与其索引结构的绑定，将对象文件的放置和定位问题转化为对其索引结构的放置和定位问题。通过索引结构在对象存储服务器的动态划分，能够在提高数据定位效率的同时实现数据在服务器上的均衡放置。实验结果表明在PB级存储规模下，定位开销可以维持在11us，存储服务器的存储空间利用率能够达到均衡，并可以提供较高的聚合IO吞吐率。\n (3)提出了一种高效的多元数据服务器负载均衡方法。该方法通过维护元数据与元数据服务器灵活的映射机制，能以较小的开销完成元数据负载的迁移；通过高效的负载监听机制，对负载均衡不利的负载干扰能够被有效屏蔽；通过低开销的负载迁移方法，能够以对正常服务较小的影响实现负载迁移。实验结果表明该方法能通过调整负载敏感度和负载迁移粒度快速平衡多元数据服务器负载并能提供较高的聚合元数据处理能力。\n (4)利用上述研究成果，设计并实现了面向海量存储、提供POSIX语义文件访问接口的机群文件系统skyFS。该系统利用FUSE用户态文件系统在用户态实现了POSIX语义的文件访问接口，其多元数据服务器支持并发处理海量文件，其对象存储服务器能够分布式地管理PB级的存储空间。性能评价结果表明，skyFS在32台元数据服务器配置下可以提供每秒7万次的文件创建和每秒27万次的文件查询，在十亿大目录条件下可以提供每秒6万次的文件创建。在数据处理方面，skyFS通过均衡的数据分布和并发处理对象文件的能力可以提供线性增长的IO吞吐能力，且在多用户并发访问的环境下仍能保持性能的稳定。

关键词：机群文件系统元数据管理存储空间负载均衡海量数据可扩展性

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：