检索结果-内蒙古大学图书馆

计算机研究与发展 2007年第Z1期44卷 168-172页

作者：王扬周可李春花鲁良华中科技大学计算机科学与技术学院武汉430074 华中科技大学计算机科学与技术学院武汉430074 华中科技大学计算机科学与技术学院武汉430074 华中科技大学计算机科学与技术学院武汉430074

集群文件系统是当前存储系统的研究热点.在资源一定的条件下,存储系统中元数据服务器和数据存储服务器节点及客户端节点数量之间的配置比例会对系统性能产生较大的影响.分析了lustre集群文件系统的参数配置,针对两种典型应用环境:文件... 详细信息

集群文件系统是当前存储系统的研究热点.在资源一定的条件下,存储系统中元数据服务器和数据存储服务器节点及客户端节点数量之间的配置比例会对系统性能产生较大的影响.分析了lustre集群文件系统的参数配置,针对两种典型应用环境:文件服务和Web服务,测试了不同节点数和不同lustre条块大小配置下的系统性能;通过对比分析,得出lustre集群文件系统最优化配置,为提高集群文件系统性能提供参考.测试结果显示.当lustre文件系统的OST节点数与client节点数相当时系统性能最好.

关键词：集群文件系统配置参数性能

来源：评论

学校读者我要写书评

暂无评论

集群文件系统小粒度文件I/O请求性能优化技术研究

集群文件系统小粒度文件I/O请求性能优化技术研究

引用

作者：黄浩中国科学院研究生院

学位级别：硕士

近年来，伴随着各种应用日新月异的发展，人们对集群文件系统提出了更全面更多样化的需求。文件的小粒度I/O请求的性能对于集群文件系统的整体性能有着越来越重要的影响，应用迫切需要集群文件系统为小粒度的文件I/O请求提供低延迟，高... 详细信息

近年来，伴随着各种应用日新月异的发展，人们对集群文件系统提出了更全面更多样化的需求。文件的小粒度I/O请求的性能对于集群文件系统的整体性能有着越来越重要的影响，应用迫切需要集群文件系统为小粒度的文件I/O请求提供低延迟，高吞吐的服务。本文分析了影响小粒度I/O性能的重要因素，并结合目前国内外相关研究工作，为pNFS标准协议下的蓝鲸集群文件系统设计实现了一套可移植、自适应的优化机制。最后通过性能评测证明该优化机制实现的有效性。本文的主要研究成果如下：\n 设计并实现了基于静态阈值策略的带内外混合机制本文在基于BWFS文件系统的，单层元数据服务架构的pNFS文件系统基础之上，设计与实现了一套用于优化小粒：度I/O性能的基于静态阈值策略的带内外混合机制。该机制通过事先设置的I/O阈值分离客户端大粒度I/O和小粒度I/O的访问路径，使得小粒度I/O能通过带内访问的方式得到处理，避免了其通过带外访问时额外的性能开销，从而大幅的优化了小粒度I/O的性能。\n 研究与实现了基于动态阈值策略的带内外混合机制本文在基于静态阈值策略的系统基础上，研究并设计实现了一套基于动态阈值策略的带内外混合机制。解决了静态阈值策略在实际应用中缺乏灵活性和准确性的问题，使得系统的I/O阈值能根据系统的I/O负载自适应的变化，从而能最大限度的提升小粒度I/O的性能。\n 提出了高效的缓存一致性的解决方案在引入带内外混合机制优化小粒度I/O的同时，也由此引入了缓存中数据的多份副本而产生了数据一致性的问题。本文在带内外混合机制的基础上，设计并实现了一套高效简洁的缓存一致性解决方案，从而能够在不影响系统性能的前提下，正确的解决数据的一致性问题。\n 最后，我们使用了标准测试工具Fio、Postmark和生物基因计算应用ICT-BLAST程序对比评测了这一套机制实现的有效性。在针对小文件的Postmark测试中，其相对于其他策略的系统，聚合吞吐率有12.1%到68.1%的性能提升；在针对大文件的Fio测试中，其相对于其他策略的系统，聚合吞吐率有14.8%到300%的性能提升；在实际应用中，其相对于其他策略的系统，执行时间有8.3%到93.9%的减少。从而证明了该系统实现能自适应于系统负载动态调整阈值，使得在不影响大粒度I/O性能的前提下，有效的优化小粒度I/O性能从而使I/O整体性能最大化，具有很好的可实用性。

关键词：集群文件系统小粒度文件带内外混合动态阈值策略 I/O请求性能优化机制可移植性

来源：评论

学校读者我要写书评

暂无评论

集群文件系统关键技术的研究与实现

集群文件系统关键技术的研究与实现

引用

作者：易乐天国防科学技术大学

学位级别：硕士

文件系统对计算机的输入输出能力有着重要的影响,它伴随着存储技术的进步已经由传统的主机方式向集群方式发展,并在应用中占有举足轻重的地位。本文在充分分析当前主要网络存储技术的基础上,研究并设计了基于SAN环境的集群文件系统一SA... 详细信息

文件系统对计算机的输入输出能力有着重要的影响,它伴随着存储技术的进步已经由传统的主机方式向集群方式发展,并在应用中占有举足轻重的地位。本文在充分分析当前主要网络存储技术的基础上,研究并设计了基于SAN环境的集群文件系统一SANFS在Linux系统上的体系结构及其锁管理、缓存、服务质量等关键技术。SANFS采用数据流和元数据控制流分离访问的方式避免网络和主机带来的性能瓶颈。测试表明,SANFS文件系统在Linux系统上的实现已经达到了良好的I/O性能。集群文件系统的数据高可用性方式及容量高可扩展方式也是本文研究的内容之一。本文设计的SANFS的动态镜像模型利用镜像算法使SANFS在不停止服务的基础上提高存储数据的可用性,并通过I/O路径选择算法充分利用各个存储节点的性能。在SANFS扩容的基础上,本文研究与设计负载均衡策略针对不同的应用需求增加存储设备访问的并行度。

关键词：存储区域网集群文件系统元数据 SANFS OpLock DOOR Lock

来源：评论

学校读者我要写书评

暂无评论

基于网络存储的异构集群文件系统研究与实现

引用

西北工业大学学报 2005年第1期23卷 49-54页

作者：贾瑞勇张延园西北工业大学计算机学院陕西西安710072

分析了存储区域网络环境下多平台文件共享所面临的主要问题及解决途径 ,提出了一个基于网络存储的开放系统与大型机集群文件系统 ,该系统采用第三方数据传送和大型机文件系统模拟的方法 ,解决了开放系统的字节流型文件系统与大型机的记... 详细信息

分析了存储区域网络环境下多平台文件共享所面临的主要问题及解决途径 ,提出了一个基于网络存储的开放系统与大型机集群文件系统 ,该系统采用第三方数据传送和大型机文件系统模拟的方法 ,解决了开放系统的字节流型文件系统与大型机的记录型文件系统的互操作问题 ,进而利用一些 I/O性能优化策略实现了一个高性能的用户态运行库 ( Runtime Library) ,使得开放系统上的应用程序利用该运行库可以实现对网络存储上大型机文件的高速访问。实验结果表明 ,与传统的客户 /服务器文件共享模式相比。

关键词：存储区域网络集群文件系统文件共享

来源：评论

学校读者我要写书评

暂无评论

大规模集群文件系统中的I/O拥塞控制机制

引用

计算机研究与发展 2011年第S1期48卷 153-160页

作者：钱迎进金士尧肖侬并行与分布式处理国家重点实验室(国防科学技术大学) 长沙410073

首先研究了分布式集群存储系统中如何为各个客户端提供公平有效的I/O服务的问题,然后针对大规模集群文件系统提出了一种分布式I/O拥塞控制的策略.在拥塞控制下,当服务器轻载时,可以让单个客户端并行地发出更多的I/O请求给服务器,以达到... 详细信息

首先研究了分布式集群存储系统中如何为各个客户端提供公平有效的I/O服务的问题,然后针对大规模集群文件系统提出了一种分布式I/O拥塞控制的策略.在拥塞控制下,当服务器轻载时,可以让单个客户端并行地发出更多的I/O请求给服务器,以达到最大化网络和服务器资源的利用率以及I/O吞吐率的目的;当服务器重载时,通过一种节流控制,限制各个客户端可并行发送的I/O请求的数目,减少服务器缓冲的I/O请求的数目,降低服务器内存压力,控制客户端I/O请求的响应延迟.最后,经过一系列模拟实验,对拥塞控制策略进行了评估和验证.

关键词：大规模集群文件系统 I?O拥塞控制响应延迟服务质量

来源：评论

学校读者我要写书评

暂无评论

蓝鲸集群文件系统中资源交互一致性协议

引用

计算机工程 2008年第11期34卷 7-9页

作者：张军伟贾瑞勇贾亚军张建刚许鲁中国科学院计算技术研究所新疆油田公司勘探开发研究院地球物理研究所乌鲁木齐830013

在蓝鲸集群文件系统中,分布式资源交互在系统异常的情况下会出现资源状态不一致的情况,为解决这一问题,该文提出分布式资源交互一致性协议S2PC-RT。S2PC-RT引入资源交互序号保证一致性,通过增加资源申请空间减少消息等待。证明协议的正... 详细信息

在蓝鲸集群文件系统中,分布式资源交互在系统异常的情况下会出现资源状态不一致的情况,为解决这一问题,该文提出分布式资源交互一致性协议S2PC-RT。S2PC-RT引入资源交互序号保证一致性,通过增加资源申请空间减少消息等待。证明协议的正确性,并在蓝鲸集群文件系统中实现了协议。测试结果表明,S2PC-RT能够保证资源的一致性,有效提高分布式资源的交互性能。

关键词：蓝鲸集群文件系统集群文件系统资源交互一致性

来源：评论

学校读者我要写书评

暂无评论

一种SAN环境下集群文件系统的元数据缓存研究

引用

计算机研究与发展 2012年第S1期49卷 240-244页

作者：许祥罗宇国防科学技术大学计算机学院长沙410073

为了发挥SAN环境的存储访问优势,阐明了一种以CIFS协议为原型的集群文件系统,通过考察此架构下数据和元数据相互独立又彼此制约的特殊关系,提出了一种元数据缓存方法;为了减少因元数据获取而给数据读写带来的性能损失,对元数据缓存舍弃... 详细信息

为了发挥SAN环境的存储访问优势,阐明了一种以CIFS协议为原型的集群文件系统,通过考察此架构下数据和元数据相互独立又彼此制约的特殊关系,提出了一种元数据缓存方法;为了减少因元数据获取而给数据读写带来的性能损失,对元数据缓存舍弃了原有的管理方法,尽可能地保证其在客户端是可缓冲的;针对可能引起客户端与服务器端元数据不一致的情况进行了分析,并提出了解决方法;最后通过测试进行了初步验证.

关键词： SAN 集群文件系统元数据缓存一致性

来源：评论

学校读者我要写书评

暂无评论

开放性集群文件系统的研究

开放性集群文件系统的研究

引用

作者：黄启峰清华大学

学位级别：博士

集群系统开放性发展趋势、迅速增长的高性能事务处理应用需求以及移动计算模式的发展需求给集群文件系统提出了一些新的研究课题。本文面向Internet等大吞吐量事务性文件服务应用，深入研究了集群文件系统的开放性体系结构、数据分布及... 详细信息

集群系统开放性发展趋势、迅速增长的高性能事务处理应用需求以及移动计算模式的发展需求给集群文件系统提出了一些新的研究课题。本文面向Internet等大吞吐量事务性文件服务应用，深入研究了集群文件系统的开放性体系结构、数据分布及动态I/O负载平衡技术、分布式元数据管理机制和移动客户支撑技术等问题，并实现了相应的原型系统TH-CluFS。\n 本文的主要贡献包括以下几个方面：\n (1)提出了集群系统开放性的定义，以及开放性集群文件系统体系结构及其性能分析模型。理论分析、模拟实验和原型系统测试结果均表明该模型能满足开放性集群文件系统在可移植性、兼容性、高性能、可扩展性、自适应性以及可用性等多方面的需求。\n (2)提出了一种基于文件和节点两级粒度的分布式文件服务I/O负载计量模型。该模型能够有效地反映应用系统文件访问模式的动态变化及其广泛分布等特征，而且具有马尔可夫特性，便于模型分析与实际应用，实现开销低。\n (3)提出了集群文件系统负载平衡的定义，深入研究和分析了被动式自适应静态文件分配、局部文件迁移和全局文件迁移三种I/O负载平衡算法。三种算法适用于不同的应用环境和系统负载状况，性能提高显著，并且决策开销低，扩展性好。模拟实验结果表明：上述静态文件分配算法能达到接近最优的系统平均响应时间和吞吐率；局部文件迁移算法在一般负载情况下能使系统平均响应时间降低25％以上；全局迁移算法在重负载情况下表现尤为突出，在四节点配置的集群系统中，当系统请求到达速率达到节点请求处理速率的1/3以上时，系统平均响应时间降低50％以上。\n (4)提出了一种基于远程代理的分布式元数据管理模型及其轻量级的一致性维护策略。该模型提供了具有位置独立性的全局统一的名字空间，实现了支持系统局部可用和故障封装的文件访问处理框架。而且，一致性维护策略基于主备式复制模型，同时引入文件属性分类、时间戳和时间戳向量比配等关键技术，极大地降低了一致性维护协议处理开销。\n (5)提出了集群文件系统移动客户支撑模型，以及弱连接情况下文件更新延迟写回的成本模型。移动客户支撑模型支持强连接、弱连接和脱机三种不同的文件服务状态，并为它们提供了不同的服务优化策略。成本模型综合考虑文件、操作、系统访问模式以及网络带宽等多方面的因素，分别量化了更新延迟写回的收益及其执行开销，完成更新写回时机的决策，从而在有效地利用了弱连接网络带宽的同时规避了网络瓶颈，提高了文件访问服务质量。

关键词：互联网网络结构集群文件系统开放系统负载平衡元数据管理移动客户

来源：评论

学校读者我要写书评

暂无评论

一个集群文件系统的虚拟化支持平台研究与实现

引用

电信科学 2012年第9期28卷 34-37页

作者：邬延辉陈征龚松春宁波大学信息科学与工程学院宁波315211

在分布式数据管理中,服务器的虚拟化是一项重要工作,将网络中的多个服务器进行虚拟集成,可以快速完成一些大型的计算任务,并且减少硬件花费,减少空间和能量消耗。多数服务器虚拟化产品具有动态迁移的特点,动态迁移技术可以使虚拟服务器... 详细信息

在分布式数据管理中,服务器的虚拟化是一项重要工作,将网络中的多个服务器进行虚拟集成,可以快速完成一些大型的计算任务,并且减少硬件花费,减少空间和能量消耗。多数服务器虚拟化产品具有动态迁移的特点,动态迁移技术可以使虚拟服务器在运行时从一台机器转移到另一台机器,避免因硬件维护所产生的暂时或长时间服务中断。动态迁移需要共享存储器,其性能随虚拟服务器数量增加,成为整个系统的瓶颈。提出和实现了一个基于Lustre集群文件系统的、建立在开源虚拟机解决方案KVM之上的服务器虚拟环境。实验结果证实,虚拟环境提升了虚拟服务器的输入输出性能,同时使得创建KVM用户的耗费时间明显缩短。

关键词：集群文件系统服务器虚拟化 KVM虚拟机

来源：评论

学校读者我要写书评

暂无评论

对HCFS集群文件系统的分析与改进

对HCFS集群文件系统的分析与改进

引用

作者：郭立山华南理工大学

学位级别：硕士

随着计算机技术、网络技术和通讯技术的高速发展，近年来集群系统已经得到广泛应用，并成为高性能计算的主要体系结构。本论文基于对HCFS集群文件系统的深入分析，阐述了HCFS集群文件系统的设计思想和实现原理，并针对实践当中遇到的一... 详细信息

随着计算机技术、网络技术和通讯技术的高速发展，近年来集群系统已经得到广泛应用，并成为高性能计算的主要体系结构。本论文基于对HCFS集群文件系统的深入分析，阐述了HCFS集群文件系统的设计思想和实现原理，并针对实践当中遇到的一些问题，对HCFS集群文件系统作了相应的改进，使之更适用于实际应用环境。\n 首先，本论文介绍了集群文件系统的产生背景，并调研了当前国内外典型的文件系统的技术特点和不足之处。然后，概要地说明了HCFS文件系统的体系架构及其软件模型。接着，对HCFS文件系统的设计原理和实现细节，以及HCFS的核心技术，包括网络抽象机制、对象存储机制和分布式锁机制等进行了深入分析，并且利用Linux的flock系统调用设计了一个实验，用于测试HCFS的锁模式兼容性。 \n 根据对HCFS集群文件系统部署实施的经验，以实验说明HCFS集群文件系统条带调度算法的不足之处和繁琐安装过程带来的限制。针对HCFS集群文件系统条带调度算法的不足，提出了基于存储节点已用存储百分比的加权Rotlnd-Robin改进调度算法，采用了Iozone工具进行条带性能的测试，实验结果来看，采用了改进的加权Round-Robin算法其写速率和再写速率均是未改进的2倍左右。而针对繁琐的安装过程，则设计开发了一个客户端代理，通过截获库函数调用，从而实现客户端在用户空间层直接访问HCFS集群文件系统，并利用ncurse图形库，实现了Linux界面让操作更简单直观。通过客户端代理，无需传统的安装配置过程，即可配置相关参数，然后直接通过界面实现对HCFS文件系统的文件创建和删除操作。\n 本课题来源于教育部重大项目ChinaGrid子项目“华南理工大学校园网格建设”。

关键词：集群文件系统对象存储分布式锁条带化

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：