咨询与建议

看过本文的还看了

相关文献

该作者的其他文献

文献详情 >面向高性能计算机的海量数据处理平台实现与评测 收藏

面向高性能计算机的海量数据处理平台实现与评测

Implementation and Evaluation of Massive Data Processing Paradigm on High Performance Computers

作     者:黄訸 易晓东 李姗姗 廖湘科 Huang He;Yi Xiaodong;Li Shanshan;Liao Xiangke

作者机构:国防科学技术大学计算机学院长沙410073 

出 版 物:《计算机研究与发展》 (Journal of Computer Research and Development)

年 卷 期:2012年第49卷第S1期

页      面:357-361页

核心收录:

学科分类:08[工学] 0812[工学-计算机科学与技术(可授工学、理学学位)] 

基  金:国家"八六三"高技术研究发展计划基金项目(2010ZX01045-001-002-5) 

主  题:高性能计算机 海量数据处理 MapReduce编程模型 

摘      要:高性能计算机主要应用于传统的科学计算领域,而在云计算时代,数据密集型应用成为一大类新型应用,已经变得越来越重要.主要探索如何在高性能计算机上高效地进行海量数据处理,使高性能计算机在进行科学计算的同时,能够非常好地支持数据密集型应用,拓展高性能计算机的应用领域.分析了高性能计算机上MapReduce模型实现和部署的可行性之后,在高性能计算环境中进行了实验.实验结果表明,存储系统的并行I/O能力不能充分发挥,是造成系统无法高效运行的主要瓶颈.而导致这个性能瓶颈的原因,是高并发带来的对集群文件系统资源的竞争和冲突.最后,提出了几种解决集群文件系统资源冲突的方案,这是今后的研究方向.

读者评论 与其他读者分享你的观点

用户名:未登录
我的评分