基于梯度的自适应阈值结构化剪枝算法

作     者：王国栋 叶剑 谢萦 钱跃良 WANG Guodong;YE Jian;XIE Ying;QIAN Yueliang

作者机构：临沂中科人工智能创新研究院山东临沂276000 中国科学院计算技术研究所泛在计算系统研究中心北京100190 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2022年第48卷第9期

页      面：113-120页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划(2017YFB1302400) 山东省重大科技创新工程项目(2019JZZY020102) 江苏省科技计划产业前瞻与共性关键技术竞争项目(BE2018084) 

主　　题：模型压缩 神经网络 梯度信息 自适应阈值 结构化剪枝 

摘      要：在边缘设备上运行深度神经网络模型并进行实时性分析,需要对网络模型进行压缩以减少模型参数量和计算量,但现有剪枝算法存在耗时长和模型压缩率低的问题。提出一种基于梯度设置不同阈值的结构化剪枝算法。对神经元进行细粒度评价,采用神经网络的梯度信息衡量权重的重要性,通过网格搜索和计算曲率的方式获取不同网络层的剪枝权重阈值,根据搜索后的剩余参数量确定不同网络层的卷积核中需要剔除的冗余参数。在此基础上,保留网络层中有效参数较多的卷积核,实现对卷积核个数的调整,进而重新训练以保证模型精度。分别对VGG16、ResNet50分类模型和SSD、Yolov4、MaskRCNN目标检测模型进行剪枝实验,结果表明,经该算法剪枝后,分类模型参数量减少92%以上,计算量减少70%以上,目标检测模型参数量减少75%以上,计算量减少57%以上,剪枝效果优于Rethinking、PF等算法。