二值网络的分阶段残差二值化算法

作     者：任红萍 陈敏捷 王子豪 杨春 殷绪成 REN Hong-Ping;CHEN Min-Jie;WANG Zi-Hao;YANG Chun;YIN Xu-Cheng

作者机构：北京科技大学计算机与通信工程学院北京100083 

出 版 物：《计算机系统应用》 (Computer Systems & Applications)

年 卷 期：2019年第28卷第1期

页      面：38-46页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：深度学习 二值网络 随机量化 高阶残差量化 分阶段残差二值化 

摘      要：二值网络在速度、能耗、内存占用等方面优势明显,但会对深度网络模型造成较大的精度损失.为了解决上述问题,本文提出了二值网络的分阶段残差二值化优化算法,以得到精度更好的二值神经网络模型.本文将随机量化的方法与XNOR-net相结合,提出了两种改进算法带有近似因子的随机权重二值化和确定权重二值化,以及一种全新的分阶段残差二值化的BNN训练优化算法,以得到接近全精度神经网络的识别准确率.实验表明,本文提出的分阶段残差二值化算法能够有效提升二值模型的训练精度,而且不会增加相关网络在测试过程中的计算量,从而保持了二值网络速度快、空间小、能耗低的优势.