面向高性能计算机的海量数据处理平台实现与评测

作     者：黄訸 易晓东 李姗姗 廖湘科 Huang He;Yi Xiaodong;Li Shanshan;Liao Xiangke

作者机构：国防科学技术大学计算机学院长沙410073 

出 版 物：《计算机研究与发展》 (Journal of Computer Research and Development)

年 卷 期：2012年第49卷第S1期

页      面：357-361页

核心收录：

学科分类：08[工学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家"八六三"高技术研究发展计划基金项目(2010ZX01045-001-002-5) 

主　　题：高性能计算机 海量数据处理 MapReduce编程模型 

摘      要：高性能计算机主要应用于传统的科学计算领域,而在云计算时代,数据密集型应用成为一大类新型应用,已经变得越来越重要.主要探索如何在高性能计算机上高效地进行海量数据处理,使高性能计算机在进行科学计算的同时,能够非常好地支持数据密集型应用,拓展高性能计算机的应用领域.分析了高性能计算机上MapReduce模型实现和部署的可行性之后,在高性能计算环境中进行了实验.实验结果表明,存储系统的并行I/O能力不能充分发挥,是造成系统无法高效运行的主要瓶颈.而导致这个性能瓶颈的原因,是高并发带来的对集群文件系统资源的竞争和冲突.最后,提出了几种解决集群文件系统资源冲突的方案,这是今后的研究方向.