HDFS存储和优化技术研究综述

作     者：金国栋 卞昊穹 陈跃国 杜小勇 JIN Guo-Dong;BIAN Hao-Qiong;CHEN Yue-Guo;DU Xiao-Yong

作者机构：数据工程与知识工程教育部重点实验室(中国人民大学)北京100872 中国人民大学信息学院北京100872 大数据系统软件国家工程实验室(北京理工大学)北京100081 

出 版 物：《软件学报》 (Journal of Software)

年 卷 期：2020年第31卷第1期

页      面：137-161页

核心收录：

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划(2018YFB1004401) 国家自然科学基金(U1711261,61432006,61732014) 

主　　题：HDFS 分布式文件系统 存储系统优化 数据分析 

摘      要：HDFS(Hadoop distributed file system)作为面向数据追加和读取优化的开源分布式文件系统,具备可移植、高容错和可大规模水平扩展的特性.经过10余年的发展,HDFS已经广泛应用于大数据的存储.作为存储海量数据的底层平台,HDFS存储了海量的结构化和非结构化数据,支撑着复杂查询分析、交互式分析、详单查询、Key-Value读写和迭代计算等丰富的应用场景.HDFS的性能问题将影响其上所有大数据系统和应用,因此,对HDFS存储性能的优化至关重要.介绍了HDFS的原理和特性,对已有HDFS的存储及优化技术,从文件逻辑结构、硬件设备和应用负载这3个维度进行了归纳和总结.综述了近年来HDFS存储和优化相关研究.未来,随着HDFS上层应用的日益丰富和底层硬件平台的发展,基于异构平台的数据存储、面向应用负载的自适应存储优化以及结合机器学习的存储优化技术将成为未来研究的主要方向.