检索结果-内蒙古大学图书馆

清华大学学报（自然科学版） 2004年第4期44卷 567-571页

作者：邓宜堰舒继武沈美明郑纬民清华大学计算机科学与技术系北京100084

为降低机群文件系统中文件访问的平均响应时间,提出了一种能反映机群节点上文件访问频繁程度的热量模型,在此模型的基础上给出了一种文件迁移的客户端决策,用于决定在非重负载情况下,单个文件在机群中的理想存放位置。模拟对比实验的结... 详细信息

为降低机群文件系统中文件访问的平均响应时间,提出了一种能反映机群节点上文件访问频繁程度的热量模型,在此模型的基础上给出了一种文件迁移的客户端决策,用于决定在非重负载情况下,单个文件在机群中的理想存放位置。模拟对比实验的结果显示,采用该策略,在总负载恒定的情况下,在4、8节点机群上文件访问的平均响应时间分别降低了21.6%和26.3%,在平均负载恒定的情况下,在4、8节点机群上文件访问的平均响应时间分别降低了22.2%和16.8%,结果表明该策略可以有效地降低文件访问的平均响应时间,提高系统的可扩展性,从而提高机群文件系统的性能。

关键词：机群文件系统文件迁移客户端决策平均响应时间网络操作系统热量模型

来源：评论

学校读者我要写书评

暂无评论

机群文件系统DCFS2的高可用性研究与实现

引用

计算机工程 2006年第7期32卷 69-71页

作者：李晖范志华熊劲马捷中国科学院计算技术研究所国家智能中心中国科学院研究生院北京100080

对DCFS2采用的高可用技术进行了介绍,主要对DCFS2的客户端高可用的问题进行了分析,解决了在DCFS2的结构下的客户端失效的恢复问题。对DCFS2的性能测试表明,DCFS2可提供具有竞争性的带宽和元数据性能和高可用性。

关键词：机群文件系统 DCFS2 高可用技术日志技术 IP-SAN

来源：评论

学校读者我要写书评

暂无评论

机群文件系统共享语义测试方法

引用

计算机工程 2010年第10期36卷 76-79页

作者：吕正陈昊吕毅西北大学信息科学与技术学院西安710069 中国劳动关系学院北京100048 中国科学院软件研究所北京100190

机群文件系统能否满足用户需要的共享文件语义涉及机群文件系统服务的正确性、性能和易用性。为验证该类特性,提出文件系统共享语义测试概念,实现一个文件语义测试系统FSbench。FSbench使用随机测试和划分测试相结合的方法测试和验证文... 详细信息

机群文件系统能否满足用户需要的共享文件语义涉及机群文件系统服务的正确性、性能和易用性。为验证该类特性,提出文件系统共享语义测试概念,实现一个文件语义测试系统FSbench。FSbench使用随机测试和划分测试相结合的方法测试和验证文件系统是否满足一定的语义特性。测试表明该方法能够得到令人满意的结果。

关键词：机群文件系统文件共享语义共享语义测试软件测试

来源：评论

学校读者我要写书评

暂无评论

面向机群文件系统的高可靠消息传输机制

引用

华中科技大学学报（自然科学版） 2011年第S1期39卷 139-143页

作者：周江熊劲马灿中国科学院计算技术研究所国家智能计算机研究开发中心北京100190 中国科学院研究生院北京100049

针对机群文件系统的个子操作出现错误会影响数据的可用性,提出了一种高可靠的消息传输机制HR-NET.将机群文件系统的网络故障分为3类:发送错误;接收错误;请求应答错误.对于前2种错误,提出了基于冗余传输路径的网络容错机制,对消息收发故... 详细信息

针对机群文件系统的个子操作出现错误会影响数据的可用性,提出了一种高可靠的消息传输机制HR-NET.将机群文件系统的网络故障分为3类:发送错误;接收错误;请求应答错误.对于前2种错误,提出了基于冗余传输路径的网络容错机制,对消息收发故障进行恢复,同时引入消息优先级调度策略,动态地调整消息的处理次序,避免请求应答类型的错误.通过分离并单独处理网络故障,HR-NET为机群文件系统提供了高可靠的通信机制,简化了上层文件语义操作的实现.测试结果表明HR-NET高可靠性机制所带来的性能损失低于9%.

关键词：机群文件系统消息传输机制可靠性网络故障容错机制

来源：评论

学校读者我要写书评

暂无评论

一种可扩展机群文件系统的设计与实现

引用

小型微型计算机系统 2003年第11期24卷 1889-1892页

作者：黄启峰郑纬民沈美明清华大学计算机系高性能计算研究所北京100084

介绍了可扩展机群文件系统 TH- Clu FS的设计与实现 .TH- Clu FS基于共享文件模型 ,采用无服务器的对等体系结构 .同时 ,为了有效利用机群系统累积的资源 ,TH- Clu FS采用了复制与分布相结合的元数据分布管理策略、文件粒度的数据分布... 详细信息

介绍了可扩展机群文件系统 TH- Clu FS的设计与实现 .TH- Clu FS基于共享文件模型 ,采用无服务器的对等体系结构 .同时 ,为了有效利用机群系统累积的资源 ,TH- Clu FS采用了复制与分布相结合的元数据分布管理策略、文件粒度的数据分布存储机制 ,以及一种自治的 I/ O负载平衡方法 .实验结果表明 ,TH - Clu FS很好地统一了机群文件系统在单一系统映像。

关键词：机群文件系统单一系统映像可扩展性 I/O负载平衡

来源：评论

学校读者我要写书评

暂无评论

机群文件系统的数据放置策略研究

机群文件系统的数据放置策略研究

引用

作者：王毓中国科学院计算技术研究所

学位级别：硕士

近年来机群系统凭借其良好的扩展性、可用性以及高性价比成为当前高性能计算机的主流体系结构。而由于磁盘性能的提升速度远远落后于CPU、内存以及通信网络带宽的发展速度，从而使得I/O子系统越来越成为机群系统的性能瓶颈。设计高性能... 详细信息

近年来机群系统凭借其良好的扩展性、可用性以及高性价比成为当前高性能计算机的主流体系结构。而由于磁盘性能的提升速度远远落后于CPU、内存以及通信网络带宽的发展速度，从而使得I/O子系统越来越成为机群系统的性能瓶颈。设计高性能的机群文件系统是缓解这一问题的重要手段。实际应用中所产生的数据可能在系统中不同的存储节点之间造成访问和存储的不均衡，从而导致某个节点成为系统的性能瓶颈，降低了系统的整体性能。高效的数据放置策略通过将数据在系统中所有存储节点之间合理有效地分布存放，充分利用所有节点的聚合带宽，提高系统的吞吐量，从而成为缓解或者消除I/O子系统性能瓶颈的重要技术。本文总结了影响机群文件系统I/O性能的数据放置的几个关键问题，并结合国内外相关研究工作，提出了有效的解决方案。主要研究内容及结果如下：\n ⑴提出了适用于目前机群系统中衡量节点负载的二元组方法及负载均衡机制。这种方法主要考虑节点的I/O访问负载，其次考虑节点的磁盘空间利用率。对节点的I/O访问负载失衡和磁盘空间利用饱和的情况进行区分，采取不同的数据迁移策略，使系统中的负载处于动态近似均衡状态，从而可以充分利用系统中所有节点的带宽，提高系统的I/O性能。\n ⑵提出了存放文件时基于负载的概率选择法。在选择文件的存放位置时，首先考虑节点的I/O访问负载。当访问负载不均衡时，以节点的访问负载大小所占比重的概率选择该节点进行存放；当访问负载近似均衡时，以节点的磁盘空间利用率所占比重的概率选择该节点进行存放。这种方法可以有效地支持多复本机制，同时还支持single、stripe两种不同的文件模式。实验测试表明，通过这种方法选择文件的存放位置，可以提高系统的吞吐量。\n ⑶提出了机群系统发生伸缩时的数据迁移策略。对节点失效的情况，首先基于负载进行快速的数据恢复，然后再进行负载均衡的数据迁移操作。对节点加入的情况，首先进行负载均衡的数据迁移操作，再将新节点投入到创建文件时的使用。通过采取不同的数据迁移机制，在保证系统数据可靠性的同时，又能尽量减小数据迁移对系统I/O性能的影响。通过这种方法进行节点伸缩时的数据迁移，可以提升节点动态变化时系统的吞吐量。

关键词：机群文件系统数据交换信息存储数据放置策略

来源：评论

学校读者我要写书评

暂无评论

机群文件系统的评价技术研究

机群文件系统的评价技术研究

引用

作者：范志华中国科学院计算技术研究所

学位级别：硕士

机群结构由于具有良好的可扩展性、可用性、高性价比等优势已经成为高性能计算机的主流结构。然而，由于磁盘访问的性能远落后于CPU、内存和网络传输的性能，使得机群系统的I/O性能往往会成为系统性能的瓶颈。机群文件系统作为解决机群... 详细信息

机群结构由于具有良好的可扩展性、可用性、高性价比等优势已经成为高性能计算机的主流结构。然而，由于磁盘访问的性能远落后于CPU、内存和网络传输的性能，使得机群系统的I/O性能往往会成为系统性能的瓶颈。机群文件系统作为解决机群I/O瓶颈的核心技术，对其进行评价就具有重要的意义。\n 本文从机群文件系统的性能评价、老化评价和可靠性评价三个方面对机群文件系统进行了评价。主要贡献在于：\n 第一，针对性能评价如何尽量反映应用的真实性能的问题，提出了面向应用的机群文件系统性能评价方法：首先利用基于SystemTap技术的文件系统负载收集工具进行实际应用负载的trace收集和整理，然后通过分析它们的负载，进而构造一个接近真实应用的负载进行性能测试。具体的贡献有：\n 1.实现了一个基于SystemTap技术的文件系统负载收集工具，它使用简单，对系统的干扰低，对应用环境的通用性高，在客户端进行收集具有很好的扩展性。\n 2.在三个比较典型的应用环境下进行了负载的收集，并对这些负载从文件系统的请求比例、读写特性、时间特性、文件系统的当前状态等方面进行了负载特征分析，同时也跟SPECsfs的负载进行了对比，分析了这些负载之间的相似和不同之处。\n 3.性能评测结果表明了SPECsfs的评测结果还是跟模拟的真实负载的性能有差距，也反映了面向具体应用进行性能评测的必要性和该方法的有效性。\n 第二，针对目前老化问题不容易测试和缺乏测试和分析工具的现状，分析了文件系统老化的主要原因来自磁盘上文件数据的不连续性，并且用实验进行了验证；进而从单个文件的老化度、所有文件的整体老化度和空闲空间的老化度这三个不同的维度量化定义了文件系统老化程度的评价指标；最后实现了一个老化程度的统计工具，能够对仍然在线使用而无法进行性能测试的文件系统进行老化性的评价。\n 第三，主要针对目前流行的大规模分布式文件系统的数据块复制放置机制，采用模拟的方法，对大规模文件系统的可靠性进行了评价，分别比较了影响可靠性的各个因素，模拟的结果显示有的因素对可靠性影响很大，有的并不是很大，最后提出了两个改进可靠性的数据放置算法，经过模拟验证证明了两个新算法分别可以获得不同程度的可靠性的提高。

关键词：机群文件系统性能评价系统老化系统可靠性机群结构

来源：评论

学校读者我要写书评

暂无评论

机群文件系统元数据服务高可用关键技术研究

机群文件系统元数据服务高可用关键技术研究

引用

作者：李月嘉中国科学院大学

学位级别：硕士

元数据，作为描述数据的数据，是机群文件系统的重要组成部分。元数据服务的高可用对于降低元数据服务器异常宕机对正常应用的影响具有十分重要的意义。然而，现有的典型机群文件系统元数据高可用技术方案主要存在两个问题:一是在保证... 详细信息

元数据，作为描述数据的数据，是机群文件系统的重要组成部分。元数据服务的高可用对于降低元数据服务器异常宕机对正常应用的影响具有十分重要的意义。然而，现有的典型机群文件系统元数据高可用技术方案主要存在两个问题:一是在保证失效接替一致性和正常访问性能的高可用方案中存在接替时间长的问题;二是在保证一致性和接替时间短的高可用方案中存在对正常访问性能影响大的问题。本文主要针对第二类问题进行研究，提出一种在保证失效接替一致性和接替时间短的同时，降低正常访问延迟、提升访问性能的高可用方案和一种备机元数据服务的在线重构机制。本文的工作和贡献如下:\n 对影响机群文件系统高可用方案性能的主要因素进行总结分析。根据对当前主流文件系统高可用方案的对比和分析，本文总结了影响机群文件系统高可用方案性能的三个主要因素:一致性、连续性和对正常访问性能的影响，并且指出现有高可用方案还未能很好地解决同时满足这三个因素的问题。同时，为本文的研究提供指导方向和性能评价指标。\n 提出并实现采用恢复缓存网络备份的异步元数据更新高可用方案。本文采用了元数据异步更新，在元数据正常访问过程中元数据更新操作结果在内存中完成后，即可通过网络向备份元数据服务器发起备份过程，而不必等待操作结果同步写入到元数据持久介质上，降低了同步写入磁盘操作带来的响应延迟开销。但元数据异步更新模式带来了新的接替情境，备机需对宕机前已完成网络备份但还未写入到磁盘上的元数据更新操作进行重放恢复，并解决有依赖关系的元数据操作恢复顺序的难题。本文提出的基于简化版本号的恢复方案，利用AOV网的拓扑排序将元数据操作按照被依赖关系进行恢复，巧妙地解决了重放顺序问题，保证了失效接替一致性。该方案还支持无依赖关系操作的并发恢复，缩短失效接替时间，提升系统可用性。基于BWFS_PNFS实现原型系统，和原有同步高可用方案相比，测试结果表明:在单客户端访问模式下，正常访问性能提升0.27倍～1.42倍，在多客户端并发访问模式下，正常访问性能提升0.37倍～2.63倍，失效接替时间在6s范围内，维持在同一数量级。\n 提出并实现—种不阻塞正常访问请求的备机元数据服务在线重构机制。在机群文件系统中，添加新的元数据服务器使其成为备机的过程称为备机元数据服务的重构过程。本文在不阻塞客户端正常访问请求的情况下，完成对新添加备机的重构，对系统正常性能影响小。通过建立状态缓存池，有效解决有依赖关系状态缓存的重构问题，并且兼容仅剩余主机在线的重构情况。在线重构能够有效提高系统容忍元数据服务器同时宕机的能力，通过增大系统无故障时间增加的概率提升系统高可用。测试结果表明:当内存中状态缓存为MB级别时，在线重构时间达到秒级，且不阻塞客户端正常请求，具有可行性和实施意义。

关键词：机群文件系统元数据异步更新策略在线重构机制访问性能

来源：评论

学校读者我要写书评

暂无评论

机群文件系统的海量小文件写性能优化研究

机群文件系统的海量小文件写性能优化研究

引用

作者：薛杰瑜中国科学院大学

学位级别：硕士

近年来，海量小文件写访问的高时延成为并行网络文件系统pNFS的主要性能问题。其原因有两点:一是高比例的元数据并发访问;二是小粒度IO导致磁盘性能低下。针对以上问题，本文以pNFS为基础，基于研究平台的小文件访问优化框架，研究设计... 详细信息

近年来，海量小文件写访问的高时延成为并行网络文件系统pNFS的主要性能问题。其原因有两点:一是高比例的元数据并发访问;二是小粒度IO导致磁盘性能低下。针对以上问题，本文以pNFS为基础，基于研究平台的小文件访问优化框架，研究设计实现海量小文件写访问性能优化技术。本文设计实现了一种文件布局预分配机制，使得写操作时文件布局的分配在客户端本地完成;设计实现了一种冲突解决方案，使文件布局预分配机制与inode本地分配机制兼容运行，该方案能够显著改善pNFS在海量小文件场景中写访问的性能。本文的工作和贡献如下:\n 设计并实现文件布局预分配机制。原型系统每次写访问必须与元数据服务器交互获取文件布局，设计实现文件布局预分配机制，客户端一次预取大量存储资源作为缓存，每当写操作需要文件布局时，只需在客户端本地即可完成分配工作。该技术大大减少写操作相关的RPC操作次数，使得在海量小文件首次写场景中，客户端平均操作延迟降低16.0％～39.2％。\n 设计并实现文件布局预分配机制与inode本地分配机制的冲突解决方案。研究平台为了提升文件创建性能，设计实现了文件客户端本地创建机制，使用fake inode进行本地创建。而文件布局预分配机制需要使用真实的inode与服务器交互，产生了冲突。本文提出一种异步回刷的冲突解决方案，让两种优化机制兼容运行，使得在海量小文件首次写的场景中，平均操作延迟降低32.2％～68.8％。\n 本文是对研究平台小文件访问优化框架的补充，有效解决了写访问操作中元数据访问占比高和小粒度IO导致磁盘吞吐量低的问题。充分的性能测试结果表明文件布局预分配机制是切实有效的。

关键词：机群文件系统海量小文件写性能优化资源分配元数据访问

来源：评论

学校读者我要写书评

暂无评论

机群文件系统元数据高可用技术研究

机群文件系统元数据高可用技术研究

引用

作者：陈撰中国科学院计算技术研究所

学位级别：硕士

由于在可扩展性、可用性以及性价比方面的显著优势，机群系统已成为高性能计算机和超级服务器的主流结构。作为机群系统的核心软件，机群文件系统负责机群环境下文件的保存、获取、组织、共享以及保护等工作，为用户提供透明的文件服务... 详细信息

由于在可扩展性、可用性以及性价比方面的显著优势，机群系统已成为高性能计算机和超级服务器的主流结构。作为机群系统的核心软件，机群文件系统负责机群环境下文件的保存、获取、组织、共享以及保护等工作，为用户提供透明的文件服务。随着机群性能、规模的急剧增长，以及在科学计算和新型互联网产业的广泛应用，机群文件系统的高可用需求日益迫切。而其中元数据服务对于机群文件系统的整体服务有着十分关键的作用，其效率和容错性直接关系到文件的访问性能和可用性。因此研究元数据高可用技术具有重要意义。在分布式文件系统中，过去对元数据服务的可用性保证大都采用日志技术，而日志技术由于其自身的局限性，并不能很好地为元数据服务提供有力保障。本文对机群文件系统元数据高可用技术进行了研究。主要研究内容包括：\n ⑴对比复制技术在数据和元数据上的应用，总结出复制技术在元数据上应用的关键问题：①元数据高可用的系统框架，即冗余节点的组织和功能分配；②元数据高可用的一致性维护。\n ⑵提出了一种用于元数据服务的高可用机制。采用冗余的方式，将一个元数据服务器扩充为冗余复本节点的集合，并引入主、从复本节点的结构。通过基于日志和内存的同步方式，以及复本节点的非对称服务结构，构建元数据高可用的系统架构。\n ⑶将Paxos算法高效地结合到元数据处理流程中，保障在有故障发生情况下多个元数据复本的一致性。针对Multi-Paxos在实现中所出现的性能问题，提出了Packed Multi-Paxos和Paxos Coordination Queue(PCQ)，由此进一步减少复制技术所引入的额外网络传输开销，协调整个Paxos算法与元数据处理流程的结合。\n ⑷经过测试表明，通过元数据高可用机制，可以使元数据服务在节点失效的情况下不中断，实现高可用的连续服务。同时，元数据写操作的性能下降被控制在可接受的范围内；并且由于每个复本节点都可以对外提供元数据读请求服务，元数据读请求的性能得到了提升。

关键词：机群文件系统元数据处理程序设计高可用技术

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：