版权所有：内蒙古大学图书馆 技术提供：维普资讯• 智图
内蒙古自治区呼和浩特市赛罕区大学西街235号 邮编: 010021
基于“神威太湖之光”的Caffe分布式扩展研究
DISTRIBUTED OPTIMIZATION STUDY FOR CAFFE ON SUNWAY TAIHULIGHT SUPERCOMPUTER作者机构：江南计算技术研究所江苏无锡214083 清华大学计算机科学与技术系北京100084
出 版 物：《计算机应用与软件》 (Computer Applications and Software)
年 卷 期：2020年第37卷第1期
页 面：15-20页
学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）]
基 金：“全球变化和应对”专项基金项目(2016YFA0602200)
摘 要：随着深度学习的快速发展,其规模越来越大,需要的计算越来越复杂。分布式扩展技术可以有效提高大规模数据的处理能力。基于神威太湖之光超算平台对深度学习框架Caffe进行分布式扩展研究,对比同步方式下参数服务器分布式扩展方法和去中心化的分布式扩展方法。实验表明,同步方式下,去中心化的分布式扩展方法相比参数服务器分布式扩展方法在通信效率方面具有明显的优势,对特定的模型通信性能提高可达98倍。
