针对大规模数据输入输出的应用场景,提出了一种基于层次存储格式HDF5(Hierarchical Data Format 5)的多层次并行IO(Input/Output)方案。该并行IO方案分为节点间和节点内两层:节点间以节点为单位IO数据并允许节点内部协同或独立工作,根...
详细信息
针对大规模数据输入输出的应用场景,提出了一种基于层次存储格式HDF5(Hierarchical Data Format 5)的多层次并行IO(Input/Output)方案。该并行IO方案分为节点间和节点内两层:节点间以节点为单位IO数据并允许节点内部协同或独立工作,根据节点内部的工作方式分别提出了多层次并行IO算法和多层次哨兵并行IO算法,以有效提升IO效率并避免输出文件冗余。考虑异构计算和纯CPU计算两个典型应用场景,分别在曙光平台和Intel平台进行最大核数为4096、最大数据量为256G的多组实验。结果表明,多层次并行IO算法IO效率提高了1.97~25.87倍,多层次哨兵并行IO算法IO效率提高了6.53~9.36倍,且输出文件数量减少到多区并行IO算法的1/4和1/32。
我们要建设互联互通、异构融合、应用引领、产业升级、开放合作的国家超算互联网平台,连接供需方,连接超算生态圈,以互联网的思维运营超算,拓展用户和应用。通过长期坚持“机器、应用、环境”三位一体协同发展战略,我国超算(超级计算机)实现了从无到有、从弱到强的蜕变。在计算性能方面,我国超算从百亿次突破到百亿亿次(Ex a F LOP级别),进入世界领先梯队;在应用方面,我国超算实现了千万核超大规模并行计算;在生态方面,中国国家网格已经接入无锡中心、天津中心、济南中心、深圳中心等8个国家超级计算中心,对国家科技创新、经济发展起到重要支撑作用。
暂无评论