近年来,深度卷积神经网络得到了迅速发展,并在各个领域发挥巨大作用。然而各种智能设备往往储存空间和计算资源有限,不适于部署较复杂的深度模型。在模型压缩方法中,模型量化技术由于可以极大降低模型的复杂度而受到越来越多的关注。本文主要对模型量化方法进行研究,主要工作包括:(1)提出一种跨范围量化方法。当前常用的可学习量化函数对全精度模型进行量化会带来一定的性能损失,其中的一个原因在于其对较大的数值采取简单的截断操作会导致信息丢失,同时限制模型参数更新。针对上述问题,本文对当前可学习量化函数的截断操作进行改进。本文将超过量化范围的数值拆分为两部分分别进行量化计算,从而减少常规截断操作带来的信息丢失。实验表明,与原始可学习量化函数相比,跨范围量化方法仅增加少量计算量,即可获得较大的性能提升,同时优于多种当前先进的可学习量化函数。(2)提出一种自适应混合精度模型。各种智能设备的实际使用环境是多变的,而为不同的需求设计并训练不同的模型是不切实际的。现有的自适应量化模型存在量化误差过大、训练策略难以保证各有效状态充分训练的问题。针对上述问题,本文提出缩放Do Re Fa量化函数大幅减少量化误差,同时本文设计基于海森矩阵信息的混合精度子模型挑选规则去减小搜索状态数,并提出一种新的训练采样策略来实现模型性能和训练效率之间的平衡。实验表明,本文的自适应混合精度模型在保证更优的部署灵活度的同时具有更好的分类准确率,尤其在较低比特状态下。
暂无评论