检索结果-内蒙古大学图书馆

电信科学 2010年第12期26卷 95-99页

作者：王峰雷葆华中国电信股份有限公司北京研究院北京100035

hadoop分布式文件系统是遵循Google文件系统原理进行开发和实现的,受到了业界极大关注,并已被广泛应用。鉴于当前缺乏从系统设计理论的角度对其开展的相关研究,本文从hadoop分布式文件系统架构的建模入手,通过对模型各组成部分进行分析... 详细信息

hadoop分布式文件系统是遵循Google文件系统原理进行开发和实现的,受到了业界极大关注,并已被广泛应用。鉴于当前缺乏从系统设计理论的角度对其开展的相关研究,本文从hadoop分布式文件系统架构的建模入手,通过对模型各组成部分进行分析,并将其与传统的分布式文件系统进行比较,总结出hadoop分布式文件系统具有的海量、高可扩展性、高可靠性、高性能等面向云计算领域应用的重要特征。本文有助于研究者系统、深入地研究hadoop分布式文件系统的设计与实现,并为云计算背景下的分布式文件系统设计提供重要的参考。

关键词： hadoop分布式文件系统系统模型云计算

来源：评论

学校读者我要写书评

暂无评论

hadoop分布式文件系统下载策略改进研究

Hadoop分布式文件系统下载策略改进研究

引用

作者：蒋仁祥重庆邮电大学

学位级别：硕士

hadoop是当今应用最为广泛的开源云计算平台，主要由hadoop分布式文件系统(HDFS，hadoop Distributed File System)和MapReduce框架组成。\n 当前hadoop分布式文件系统采取的下载策略使客户端在从文件系统下载文件过程中下载效率低... 详细信息

hadoop是当今应用最为广泛的开源云计算平台，主要由hadoop分布式文件系统(HDFS，hadoop Distributed File System)和MapReduce框架组成。\n 当前hadoop分布式文件系统采取的下载策略使客户端在从文件系统下载文件过程中下载效率低下而且不利于集群负载均衡，导致用户对hadoop分布式文件系统的体验感受较差。\n 为了解决hadoop分布式文件系统存在的上述问题，本文基于并行下载思想，分别设计出:(1)文件级并行下载策略，在下载文件过程中，并行下载文件每个数据块;(2)数据块级并行下载策略，在下载文件的某个数据块时，从多个节点并行下载数据块;(3)应用了一种速度自适应的动态并行下载机制的并行下载策略，在下载文件数据块的过程中，客户端同多个数据节点建立连接并行下载数据块，并根据各连接带宽比，动态分配下载任务。这三种下载策略在下载效率和集群负载均衡方面均优于hadoop分布式文件系统的原始下载策略。策略(1)的下载效率和文件数据块在HDFS中的分布息息相关;策略(2)在文件数据块副本系数较大的情况下下载效率较高，且实现复杂度较低;策略(3)的综合下载性能最优，能够根据网络带宽的变化动态重分配下载任务。\n 本文实验中，用10台PC机搭建了一个小型hadoop平台，在此平台上进行改进前和改进后的hadoop分布式文件系统下载性能对比实验。实验主要从hadoop分布式文件系统的原始策略和改进后的每种策略的下载时间和集群负载均衡两方面进行对比分析。实验证明，在相同条件下改进后的每种下载策略的下载时间大大减少，更有利于HDFS集群负载均衡。

关键词：云计算 hadoop分布式文件系统并行下载负载均衡网络带宽

来源：评论

学校读者我要写书评

暂无评论

hadoop分布式文件系统原理

引用

软件导刊 2016年第3期15卷 15-17页

作者：曹卉河南广播电视大学现代教育技术中心河南郑州450000

hadoop分布式文件系统在大规模存储和访问中具有广阔的应用空间。从基本概念、基本结构、元数据管理、数据存储、文件管理、数据容错6个方面对HDFS的实现原理进行了探究,可为HDFS应用研究奠定基础。

关键词： HDFS hadoop分布式文件系统信息存储

来源：评论

学校读者我要写书评

暂无评论

面向hadoop分布式文件系统的小文件存取优化方法

引用

计算机应用 2014年第11期34卷 3091-3095,3099页

作者：李铁燕彩蓉黄永锋宋亚龙东华大学计算机科学与技术学院上海201620

为提高hadoop分布式文件系统(HDFS)的小文件处理效率,提出了一种面向HDFS的智能小文件存取优化方法——SmartFS。SmartFS通过分析小文件访问日志,获取用户访问行为,建立文件关联概率模型,并根据基于文件关联关系的合并算法将小文件组装... 详细信息

为提高hadoop分布式文件系统(HDFS)的小文件处理效率,提出了一种面向HDFS的智能小文件存取优化方法——SmartFS。SmartFS通过分析小文件访问日志,获取用户访问行为,建立文件关联概率模型,并根据基于文件关联关系的合并算法将小文件组装成大文件之后存至HDFS;当从HDFS获取文件时,根据基于文件关联关系的预取算法来提高文件访问效率,并提出基于预取的缓存替换算法来管理缓存空间,从而提高文件的命中率。实验结果表明,SmartFS有效减少了HDFS中NameNode的元数据空间,减少了用户与HDFS的交互次数,提高了小文件的存储效率和访问速度。

关键词： hadoop分布式文件系统小文件文件关联预取缓存

来源：评论

学校读者我要写书评

暂无评论

大数据环境下hadoop分布式文件系统分散式动态副本存储优化策略研究

引用

中国医院统计 2019年第1期26卷 75-78页

作者：杨莲郭良君马磊王圣芳山东省肿瘤防治研究院济南250017 济南市儿童医院

在不影响hadoop分布式文件系统分散式存储结构的前提下,结合动态副本存储和伽罗华有限域理论对范德蒙码的计算方法和计算模式进行整体优化,降低了编译码的时间代价和计算的内存压力,节约了hadoop分布式文件系统约35%的存储开销,提高了ha... 详细信息

在不影响hadoop分布式文件系统分散式存储结构的前提下,结合动态副本存储和伽罗华有限域理论对范德蒙码的计算方法和计算模式进行整体优化,降低了编译码的时间代价和计算的内存压力,节约了hadoop分布式文件系统约35%的存储开销,提高了hadoop分布式文件系统节点负载均衡能力和译码恢复效率。这种算法更适合于医疗专业文书的处理,解决临床科研需求和数据供给2个方面的问题。既能节省了存储容量,可以容纳与日俱增且越发复杂化的医疗数据,又能降低硬件服务器成本,为医院节省资金开销,更能快速查询获取数据池中的有效数据,让这些躺着的数据变成活的,充分发挥他们的临床使用价值和科研价值。这一套完整的、系统的优化方案,为未来hadoop分布式文件系统的发展提供了一条有效途径。

关键词： hadoop分布式文件系统云存储动态副本策略大数据

来源：评论

学校读者我要写书评

暂无评论

一种优化分布式文件系统的文件合并策略

引用

计算机应用 2011年第A02期31卷 161-163页

作者：陈剑龚发根广东科学职业技术学院计算机工程技术学院广东珠海519090

分布式文件系统的性能对整个分布式系统的性能有着重要的影响,以hadoop分布式文件系统(HDFS)为研究目标,针对HDFS处理小文件数据性能差的问题,分析存在的问题,提出一种新的文件合并策略,优化系统I/O性能。实现结果表明这种合并策略能有... 详细信息

分布式文件系统的性能对整个分布式系统的性能有着重要的影响,以hadoop分布式文件系统(HDFS)为研究目标,针对HDFS处理小文件数据性能差的问题,分析存在的问题,提出一种新的文件合并策略,优化系统I/O性能。实现结果表明这种合并策略能有效提高分布式文件系统的性能。

关键词：分布式文件系统 hadoop分布式文件系统性能优化

来源：评论

学校读者我要写书评

暂无评论

基于新型存储器件的分布式文件系统性能优化

引用

计算机应用 2020年第12期40卷 3594-3603页

作者：董聪张晓程文迪石佳西北工业大学软件学院西安710129 大数据存储与管理工业和信息化部重点实验室(西北工业大学) 西安710129 西北工业大学计算机学院西安710129

新型存储器件的I/O性能通常比传统固态驱动器(SSD)高一个数量级,然而使用新型存储器件的分布式文件系统相对于使用SSD的分布式文件系统性能并没有显著的提高,这说明目前的分布式文件系统并不能充分发挥新型存储器件的性能。针对这个问题... 详细信息

新型存储器件的I/O性能通常比传统固态驱动器(SSD)高一个数量级,然而使用新型存储器件的分布式文件系统相对于使用SSD的分布式文件系统性能并没有显著的提高,这说明目前的分布式文件系统并不能充分发挥新型存储器件的性能。针对这个问题,对hadoop分布式文件系统(HDFS)的数据写入流程及传输过程进行了量化分析。通过量化分析HDFS数据写入过程各阶段的时间开销,发现在写入数据的各个阶段中,节点间数据传输的时间占比较大。因此提出了对应的优化方案,通过异步写入的方式并行化数据传输与处理过程,使得不同数据包的处理阶段叠加起来,减少了数据包整体的处理时间,从而提升了HDFS的写入性能。实验结果表明,所提方案将HDFS的写入吞吐量提升了15%~24%,总体的写入执行时间降低了28%~36%。

关键词：分布式文件系统 hadoop分布式文件系统非易失性存储器性能优化异步写入

来源：评论

学校读者我要写书评

暂无评论

云环境下分布式文件系统的负载均衡研究

云环境下分布式文件系统的负载均衡研究

引用

作者：吴瑶瑶南京邮电大学

学位级别：硕士

随着云计算及互联网技术的飞速发展,日益增长的信息需求与互联网之间的交互产生了海量的数据,传统的使用单台服务器存储数据的文件系统已经不能很好的满足海量数据的存储,因此需求存储大量数据的存储系统应运而生。分布式文件系统基于... 详细信息

随着云计算及互联网技术的飞速发展,日益增长的信息需求与互联网之间的交互产生了海量的数据,传统的使用单台服务器存储数据的文件系统已经不能很好的满足海量数据的存储,因此需求存储大量数据的存储系统应运而生。分布式文件系统基于服务器客户端模式的设计解决了单机存储的局限性,通过多台服务器之间协同存储数据。对于云环境下海量数据的存储,分布式文件系统涉及大量的数据服务器节点和网络设备,这些节点可以分布在各个地方,节点之间的配置存在差异,随着线上任务的运行以及数据的读写,会产生节点之间数据存储的不均衡,数据存储的均衡程度对系统性能有重要的意义。因此,如何解决云环境下分布式文件系统的数据负载均衡称为了重要的研究课题。本文针对hadoop分布式文件系统(hadoop Distributed File System,HDFS)中数据块副本存放不均衡导致系统性能降低的问题,进行了详细的研究和分析。主要从数据迁移过程中的阈值和节点匹配方案两个角度分析,分别提出了基于多变量的动态阈值调整策略和基于队列排序的改进算法。基于多变量的动态阈值调整策略是根据hadoop集群数据节点的多方影响因素进行系统评价,通过定期循环获取磁盘空间使用率、CPU利用率、内存利用率、磁盘I/O占用率、网络带宽占用率等影响因子,形成获取阈值的计算表达式,在算法运行过程中计算阈值用于数据的迁移门限,实现自适应的动态负载均衡,提高服务器集群数据的均衡。基于队列排序的改进算法主要是针对负载均衡过程中节点匹配的随机性缺陷进行优化改进,提出节点存储列表排序的策略,将源节点存储列表和目标节点存储列表按照节点空间使用率进行排序,保证在节点选取过程的顺序性,从而使得负载较重的节点数据优先迁移到负载较轻的节点上,提高数据负载迁移过程的效率。通过理论分析和实验结果表明,相比较hadoop静态的输入阈值的算法,动态获取阈值的方案达到了更好的平衡效果,提高了计算资源的利用率。基于队列排序的改进算法相较于Balancer在平衡的过程中效率更高。

关键词：云环境 hadoop分布式文件系统负载均衡动态阈值队列排序

来源：评论

学校读者我要写书评

暂无评论

SingleMapReduce:单一输出HDFS文件的MapReduce编程模型

引用

华南理工大学学报（自然科学版） 2014年第5期42卷 135-142页

作者：陈吉荣乐嘉锦东华大学计算机科学与技术学院上海201620

经典MapReduce编程模型的输出结果不是单一的hadoop分布式文件系统(HDFS)文件,为此,文中提出了单一输出文件的MapReduce编程模型:SingleMapReduce.该模型通过拦截Job Successful状态,将输出目录下的所有文件"整合"为单一文件... 详细信息

经典MapReduce编程模型的输出结果不是单一的hadoop分布式文件系统(HDFS)文件,为此,文中提出了单一输出文件的MapReduce编程模型:SingleMapReduce.该模型通过拦截Job Successful状态,将输出目录下的所有文件"整合"为单一文件.文中给出了HDFS的4个重要特征,提出了HDFS的"块典型分布"和"块非典型分布"的概念,设计了一种通过整合元数据来达到整合文件的算法.理论分析和实验结果表明:该模型的MapReduce计算的输出结果为单一文件;该模型可以再次以文件的形式对MapReduce计算的输出结果进行分片,并可用并行方式导入大表或大文件到HDFS中;该模型间接支持了名称节点的扩展性.

关键词：分布式计算系统元数据 MapReduce hadoop分布式文件系统名称节点数据节点块

来源：评论

学校读者我要写书评

暂无评论

海量GNSS小文件云存储优化方法研究

引用

武汉大学学报（信息科学版） 2017年第8期42卷 1068-1074页

作者：李林阳吕志平崔阳王宇谱周海涛地理信息工程国家重点实验室陕西西安710054 信息工程大学地理空间信息学院河南郑州450052

GNSS数据量呈指数级趋势增长,hadoop分布式文件系统(HDFS)解决了海量GNSS数据存储瓶颈的难题,却面临内存占用多、文件相关性差和缺乏优化机制的问题。针对HDFS处理海量GNSS小文件效率不高的问题,结合GNSS数据类型、特点以及存储过程,提... 详细信息

GNSS数据量呈指数级趋势增长,hadoop分布式文件系统(HDFS)解决了海量GNSS数据存储瓶颈的难题,却面临内存占用多、文件相关性差和缺乏优化机制的问题。针对HDFS处理海量GNSS小文件效率不高的问题,结合GNSS数据类型、特点以及存储过程,提出了一种新的GNSS小文件云存储方法,优化了GNSS小文件的写入、读取、添加和删除策略。该方法分别按观测文件和解算成果的类型进行合并,对合并后的文件构建压缩Trie树索引,索引切分后,根据匹配算法分布式地存储索引块。实验采用国际GNSS服务(IGS)28d的数据和产品进行云存储优化。结果表明,该方法降低了各节点内存消耗,提高了海量GNSS小文件写入、读取和删除的效率,实现了对海量GNSS小文件的高效云存储。

关键词：全球卫星导航系统小文件 hadoop分布式文件系统云存储压缩Trie树索引

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：