深度神经网络压缩综述

作     者：李青华 李翠平 张静 陈红 王绍卿 LI Qing-hua;LI Cui-ping;ZHANG Jing;CHEN Hong;WANGShao-qing

作者机构：中国人民大学数据工程与知识工程教育部重点实验室北京100872 中国人民大学信息学院北京100872 山东理工大学计算机科学与技术学院山东淄博255091 

出 版 物：《计算机科学》 (Computer Science)

年 卷 期：2019年第46卷第9期

页      面：1-14页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：深度学习 神经网络 模型压缩 

摘      要：近年来深度神经网络在目标识别、图像分类等领域取得了重大突破,然而训练和测试这些大型深度神经网络存在几点限制:1)训练和测试这些深度神经网络需要进行大量的计算(训练和测试将消耗大量的时间),需要高性能的计算设备(例如GPU)来加快训练和测试速度;2)深度神经网络模型通常包含大量的参数,需要大容量的高速内存来存储模型。上述限制阻碍了神经网络等技术的广泛应用(现阶段神经网络的训练和测试通常是在高性能服务器或者集群下面运行,在一些对实时性要求较高的移动设备(如手机)上的应用受到限制)。文中对近年来的压缩神经网络算法进行了综述,系统地介绍了深度神经网络压缩的主要方法,如裁剪方法、稀疏正则化方法、分解方法、共享参数方法、掩码加速方法、离散余弦变换方法,最后对未来深度神经网络压缩的研究方向进行了展望。