近几年来,卷积神经网络在计算机视觉,自然语言处理和语音识别等领域上取得了突破性的进展。尽管卷积神经网络具备强大的特征表达能力,但模型的过参数化和高计算复杂度使其在训练和推理过程中消耗大量硬件资源,让模型部署在资源受限的嵌入式设备上变得异常困难。因此,研究如何在不降低网络精度的前提下压缩神经网络模型,对于深度学习技术的普及具有重要意义。本文在现有压缩算法的基础上,对其进行优化改进并完成了以下工作:(1)本文提出基于知识蒸馏的卷积神经网络量化算法。针对现有量化方法在低精度量化网络权值时精度损失严重和知识蒸馏中学生网络参数仍为高精度浮点数的问题,本文提出约束损失函数将这两种压缩技术有效结合。由于训练过程中约束损失函数和蒸馏损失函数会出现协调不匹配问题,本文提出动态参数调节方法以解决这一问题。实验结果表明,相对于其他算法,本方法获得量化模型的参数量可以在减少42%的情况下其精度提升约1%,并且比同等全精度模型的精度提升约0.3%。(2)本文将模型压缩技术应用于遥感图像分类算法。本方法采用轻量化模型Mobile Net V2作为基础分类网络,针对遥感图像类内差异性大类间相似性高等特点,引入注意力机制模块以加强对遥感图像中典型特征信息的提取。为进一步提高模型压缩率,本文采用基于缩放系数的剪枝方法对网络中不重要的通道进行剪枝,并使用渐进式量化方法将网络权值量化为低精度值。与现有方法比较,本方法在精度损失在约2%下实现计算量和运算量的大幅度缩减。
暂无评论