检索结果-内蒙古大学图书馆

作者：曹亮中国科学院计算技术研究所

学位级别：硕士

近年来，各种数据密集型应用得到了前所未有的快速发展。这些应用对存储系统的要求越来越高。为了满足这些应用的需求，许多存储系统采用先进的软硬件技术为上层应用提供高效率的存储管理和高性能的I/O服务。但是随着存储系统规模增大... 详细信息

近年来，各种数据密集型应用得到了前所未有的快速发展。这些应用对存储系统的要求越来越高。为了满足这些应用的需求，许多存储系统采用先进的软硬件技术为上层应用提供高效率的存储管理和高性能的I/O服务。但是随着存储系统规模增大、存储磁盘数目增多，更多类型的故障频繁的发生，给存储系统的可靠性与可用性带来巨大的挑战。本文通过分析现有机群文件系统数据高可用方面相关研究，并结合DCFS3的实现，设计了一个高可用的多复本文件系统—HA-DCFS3；并在分布式文件系统高可用机制的I/O处理、故障检测、以及故障恢复方面进行了相关的研究。主要研究内容及结果如下：\n ⑴设计并实现了一种高效的、扩展性良好的多复本I/O处理机制—异步primarycopy机制。传统的primary copy机制必须保证每次写操作成功更新到所有的文件复本。异步primary copy机制对传统的primary copy机制进行了优化，只要求每次写操作成功更新到部分文件复本。这种对写操作的优化有效地降低了用于维护复本一致性的代价，并且使系统具有更好的灵活性和扩展性。\n ⑵提出并实现了一种细粒度故障探测机制—I/O路径探测机制。传统的探测机制以节点为粒度，本文提出了一种以连接为粒度的更细粒度探测机制—I/O路径探测机制。利用这种探测机制，可以准确地定位两个节点间的连接失效，有效减小故障视图。\n ⑶设计并实现了一种两层次的恢复策略。这种策略区别系统中的瞬时失效和持久失效。对瞬时失效采取数据一致性恢复策略，对持久失效采取数据重建恢复策略。通过这种数据恢复方式，可以在数据恢复过程中减少不必要的修复带宽。\n ⑷针对持久失效，设计并实现了一种快速并行修复策略。这种并行修复策略利用复本放置策略将单个节点上的复本尽量分散在所有存储节点中。当要对失效节点上的数据进行数据重建的时候，并行修复策略可以最大限度地利用并行修复I/O，有效地缩短修复时间，进而提高系统的可用性。

关键词：机群文件系统文件存储数据交换网络架构数据恢复复本

来源：评论

学校读者我要写书评

暂无评论

基于SSD的机群文件系统元数据存储系统的设计与实现

基于SSD的机群文件系统元数据存储系统的设计与实现

引用

作者：陈卓中国科学院研究生院

学位级别：硕士

随着数据量的增加和元数据操作性能需求的提高，传统基于DRAM+HDD存储架构的机群文件系统元数据存储系统面临挑战。由于HDD的I/O时延过高，HDD已经成为元数据存储系统的性能瓶颈。相对于HDD，SSD具有高带宽、低时延的优势，我们希望用... 详细信息

随着数据量的增加和元数据操作性能需求的提高，传统基于DRAM+HDD存储架构的机群文件系统元数据存储系统面临挑战。由于HDD的I/O时延过高，HDD已经成为元数据存储系统的性能瓶颈。相对于HDD，SSD具有高带宽、低时延的优势，我们希望用它来提高元数据存储系统的性能。但现有元数据存储系统的I/O模式并不能充分发挥SSD的性能优势，而且大量小粒度随机写操作也会影响SSD的使用寿命。此外SSD的价格比较昂贵，存储空间相对较小，这也限制了其在元数据存储系统上的应用。\n 本文探索了基于SSD+HDD的异构元数据存储系统的关键技术。针对SSD的I/O特性，采用追加写的方式将元数据写入SSD，并设计了高效的元数据索引机制，以及采用基于访问热度的数据迁移机制来有效地利用SSD的有限空间。本文的主要工作和贡献如下：\n 1．设计了基于追加写的元数据存储组织结构，将小粒度随机写转化为大粒度顺序写，使得元数据以大粒度顺序写回SSD。同时，设计了bloom filter+哈希表的两级元数据索引机制，快速定位SSD上的元数据。这种元数据存储组织结构使SSD上的I/O模式满足“大粒度顺序写，并发随机读”的特征，消除了SSD上随机写操作，不仅充分发挥SSD的性能优势，而且保证了SSD的使用寿命。\n 2．针对异构元数据存储系统的三级存储架构，设计了基于访问热度的数据放置策略。综合数据访问的频率和最近访问时间来判定SSD上的数据访问热度，减少判定算法的时间和空间开销。在异构元数据存储系统上实现了基于访问热度的SSD数据迁移机制，这样可以充分利用SSD的存储空间，提高系统性价比。\n 3．实现了一个基于SSD+HDD存储架构的异构元数据存储系统Hybrid MDSL，并将其应用在曙光6000机群文件系统HVFS的元数据存储中。通过评测可以看出，相对于基于传统存储架构的HVFS原型系统，基于Hybrid MDSL的Hybrid HVFS的元数据操作性能有明显的提升，而且SSD上的数据迁移机制也可以显著提高空间利用率。

关键词：机群文件系统元数据存储 SSD异构存储系统数据访问大粒度顺序写

来源：评论

学校读者我要写书评

暂无评论

机群文件系统元数据访问行为分析与优化研究

引用

高性能计算技术 2007年第1期 32-36页

作者：邢晶马捷中国科学院计算技术研究所国家智能计算机研究开发中心北京100080 中国科学院研究生院北京100080 中国科学院计算技术研究所国家智能计算机研究开发中心北京100080

本文以提高机群文件系统的元数据处理性能为出发点,通过采用统计和踪迹剖析两种方式来分析元数据的访问行为,获得了元数据访问在读写比例、操作类型分布和访问热点等方面的规律,并利用这些规律对LionFS元数据服务器的实现进行了优化,测... 详细信息

本文以提高机群文件系统的元数据处理性能为出发点,通过采用统计和踪迹剖析两种方式来分析元数据的访问行为,获得了元数据访问在读写比例、操作类型分布和访问热点等方面的规律,并利用这些规律对LionFS元数据服务器的实现进行了优化,测试结果表明优化后的元数据处理性能提高了30%,以此证明了该研究的有效性.

关键词：机群系统机群文件系统元数据

来源：评论

学校读者我要写书评

暂无评论

机群文件系统元数据访问行为分析与优化研究

机群文件系统元数据访问行为分析与优化研究

引用

2006年全国高性能计算学术会议(HPC 2006)

作者：邢晶马捷中国科学院计算技术研究所国家智能计算机研究开发中心北京市100080 中国科学院研究生院北京市100080 中国科学院计算技术研究所国家智能计算机研究开发中心北京市100080

机群系统已成为目前构建高性能计算机的主流系统,而提高机群系统中负责提供IO服务的机群文件系统性能是构建高性能计算机的关键.本文以提高机群文件系统的元数据处理性能为出发点,通过采用统计和踪迹剖析两种方式来分析元数据访问行为,... 详细信息

机群系统已成为目前构建高性能计算机的主流系统,而提高机群系统中负责提供IO服务的机群文件系统性能是构建高性能计算机的关键.本文以提高机群文件系统的元数据处理性能为出发点,通过采用统计和踪迹剖析两种方式来分析元数据访问行为,得到的元数据访问规律如下:1,元数据只读操作在机群文件系统的元数据实现中所占比例高达64.6％;2,涉及目录对象的操作在元数据实现中占较高比例,达17％;3,对元数据进行操作包含一个冗长的定位过程.利用元数据访问行为分析的结论,我们对LionFS元数据服务器的实现进行了优化,测试结果表明优化后的元数据处理性能比优化前提高了30％,证明了该研究的有效性.

关键词：机群文件系统元数据访问行为分析访问行为优化

来源：评论

学校读者我要写书评

暂无评论

机群文件系统中统一缓存系统的研究

机群文件系统中统一缓存系统的研究

引用

第十届全国信息存储学术会议

作者：吴岷刘炜欧新明郑纬民清华大学计算机科学与技术系(北京)

文章主要涉及到的内容包括在Cluster File System(TH-CluFS)机群文件系统中将磁盘缓存整个文件内容和内存缓存文件块内容结合为统一的Unique Caching System(UCS);采用加强的Hash算法解决缓存块定位以及Hash冲突;单拷贝优先LRU和向前传... 详细信息

文章主要涉及到的内容包括在Cluster File System(TH-CluFS)机群文件系统中将磁盘缓存整个文件内容和内存缓存文件块内容结合为统一的Unique Caching System(UCS);采用加强的Hash算法解决缓存块定位以及Hash冲突;单拷贝优先LRU和向前传递调度缓存块替换的算法;利用写通过的策略解决缓存一致性问题;缓存预取则可以通过添加路径图的ISG算法得到很好的实现。

关键词：合作缓存机群文件系统磁盘缓存统一缓存系统

来源：评论

学校读者我要写书评

暂无评论

机群文件系统及其典型实例的研究与分析

机群文件系统及其典型实例的研究与分析

引用

'97香港-北京国际计算机会议

作者：王建勇朱宁宁科学院计算技术研究所国家智能计算机研究开发中心(北京)

该文首先对机群文件系统的需求特征进行了研究，然后介绍了４个较为典型的机群文件系统，它们分别是ＮＦＳ、ＡＦＳ、ｘＦＳ和ＳｏｌａｒｉｓＭＣ的ＰｘＦＳ，着重对其单一系统映象、性能、共享语义、可扩展性和可用性等需求特征作了对... 详细信息

该文首先对机群文件系统的需求特征进行了研究，然后介绍了４个较为典型的机群文件系统，它们分别是ＮＦＳ、ＡＦＳ、ｘＦＳ和ＳｏｌａｒｉｓＭＣ的ＰｘＦＳ，着重对其单一系统映象、性能、共享语义、可扩展性和可用性等需求特征作了对比分析，最后从技术角度对这些典型实例作了总结。该文的研究结果对于研究或开发机群文件系统具有一定的参考价值。

关键词：机群文件系统单一系统映象 NFS AFS xFS PxFS

来源：评论

学校读者我要写书评

暂无评论

基于日志的机群文件系统高可用关键技术研究

基于日志的机群文件系统高可用关键技术研究

引用

作者：李晖中国科学院研究生院（计算技术研究所）

学位级别：硕士

近年来机群系统以其低成本、高性能而逐渐成为高性能计算的主流平台。作为解决机群系统外存储瓶颈上的有效手段的机群文件系统因此得到了很大的发展。一个机群文件系统必须要满足机群计算环境的需要,为应用提供高性能、可扩展、高可用... 详细信息

近年来机群系统以其低成本、高性能而逐渐成为高性能计算的主流平台。作为解决机群系统外存储瓶颈上的有效手段的机群文件系统因此得到了很大的发展。一个机群文件系统必须要满足机群计算环境的需要,为应用提供高性能、可扩展、高可用的文件服务。由于机群文件系统本身结构复杂,实现复杂而且整个系统规模很大,这些因素就决定了对高可用技术的依赖。本文将研究基于日志的机群文件系统高可用的关键问题以及解决策略,同时给出了一些评价方法以及具体的评测结果。具体内容以及研究成果如下: (1)研究了基于日志的机群文件系统高可用技术的关键问题。本文分析了不同类型的机群文件系统的高可用需求以及高可用技术,对机群文件系统高可用相关的概念进行了介绍,描述了机群文件系统高可用领域的研究内容,并在分析的基础上提出了基于日志的机群文件系统高可用技术,分析了其中的关键问题,给出了相应的解决策略,并对其正确性和完备性给予了证明。 (2)实现了DCFS2机群文件系统高可用模块。作为文中策略的一个实际应用,本文给出了DCFS2机群文件系统高可用的设计与实现技术,给出了系统中利用日志来保证机群文件系统一致性的方法。主要内容包括:以DCFS2机群文件系统为原型系统,研究了单一以及多个元数据服务器下如何使用日志来保证文件系统的一致性;研究了机群文件系统日志对元数据操作的性能影响;研究了客户端的高可用问题。 (3)提出了机群文件系统高可用性的分级的定义。机群文件系统的高可用性的高低一直缺乏有效的定性或定量的分析方法,由于软件系统不能象硬件系统那样进行定量分析,我们根据机群文件系统的应用模式,将影响机群文件系统高可用性的因素进行分析,以机群文件系统的故障因素和恢复目标因素为线索,采用分级的方法对机群文件系统高可用性进行了定义,提出了机群文件系统高可用性的分级的定义。 (4)对基于日志的高可用技术进行了评价。目前在高可用技术的评价上尚没有完善的评价体系,本文从功能性,正确性,性能,恢复时间等多个方面对基于日志的高可用技术进行了评价,并给出了各种情况下的具体的测试结果。文中还讨论了下一步的研究方向,包括多节点故障恢复等方面。

关键词：机群文件系统高可用日志技术一致性

来源：评论

学校读者我要写书评

暂无评论

机群文件系统的可扩展结构设计

机群文件系统的可扩展结构设计

引用

第十届全国计算机信息存储技术年会

作者：王建勇朱宁宁科学院计算技术研究所国家智能中心

可扩展性是单一映象机群文件系统的一个重要需求特征。s2fs是一个机群文件系统原型，其设计目标是在保证单一系统映象的前提下，获得良好的可扩展性。该文介绍了s2fs原型系统，重点描述了其结构设计，并用Andrew Benchmark 测试了s2fs... 详细信息

可扩展性是单一映象机群文件系统的一个重要需求特征。s2fs是一个机群文件系统原型，其设计目标是在保证单一系统映象的前提下，获得良好的可扩展性。该文介绍了s2fs原型系统，重点描述了其结构设计，并用Andrew Benchmark 测试了s2fs系统结构的可扩展性。E

关键词： s2fs 机群文件系统可扩展性单一系统映象

来源：评论

学校读者我要写书评

暂无评论

机群文件系统多并发负载聚合性能优化技术研究

机群文件系统多并发负载聚合性能优化技术研究

引用

2007年全国高性能计算学术年会

作者：李剑宇孟丹熊劲中国科学院计算技术研究所智能中心北京 100080 中国科学院研究生院北京 100080 中国科学院计算技术研究所智能中心北京 100080

本地环境通过连续的文件布局并配合CFQ磁盘调度策略能够很好地改善多个并发负载的聚合性能。然而,机群文件系统基于网络传输的数据访问方式使得存储节点的驱动方式与负载构成不同于本地环境,限制了上述策略的优化效果。针对上述问题,本... 详细信息

本地环境通过连续的文件布局并配合CFQ磁盘调度策略能够很好地改善多个并发负载的聚合性能。然而,机群文件系统基于网络传输的数据访问方式使得存储节点的驱动方式与负载构成不同于本地环境,限制了上述策略的优化效果。针对上述问题,本文首先提出了类会话的I/O访问机制,它通过维护前端负载的文件访问状态信息来模拟本地环境下的I/O访问过程,在机群环境下能够充分发挥出底层文件系统中数据块预留机制的优化效果,此外,本文还设计了面向机群负载的全局调度机制以缓解多负载并发访问磁盘时的相互干扰.性能测试表明:综合使用上述策略能够明显改善机群环境下多个并发顺序流的聚合性能.

关键词：机群文件系统并发负载聚合性能访问机制调度策略

来源：评论

学校读者我要写书评

暂无评论

一种包含两级元数据服务器的机群文件系统

引用

科技信息 2007年第12期 86-87页

作者：宋玮玮马晓雪河北大学数学与计算机学院河北大学数学与计算机学院河北保定071002

本文提出了一种两级元数据服务器机群文件系统,高级元服务器实现任务分配功能,依据与二级元服务器性能最密切相关的负载信息将任务快速分配给二级元服务器,同时在存储文件时,提出了一种文件热量模型,能正确反映各存储节点I/O流量和存储... 详细信息

本文提出了一种两级元数据服务器机群文件系统,高级元服务器实现任务分配功能,依据与二级元服务器性能最密切相关的负载信息将任务快速分配给二级元服务器,同时在存储文件时,提出了一种文件热量模型,能正确反映各存储节点I/O流量和存储量的方法,并依据文件热量值对待存文件进行了合理的分配存储。实验结果表明,本策略提高了系统的性能,缩短了任务执行时间,取得了较好的效果。

关键词：机群文件系统元数据服务器热量值

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：