一种神经网络硬件加速器的数据在线压缩方法及装置

专利申请号：CN202211363442.3

公 开 号：CN115660056A

发 明 人：钱磊 尚江卫 张昆 曹清 何宁 原昊 王春清 马德胜 陈冬冬 

代 理 人：浙江千克知识产权代理有限公司汪丹琪

代理机构：浙江千克知识产权代理有限公司

专利类型：发明专利

申 请 日：20230131

公 开 日：20221102

专利主分类号：G06N3/063

关 键 词：掩码 激活 神经网络输出 激活位置 目标激活 激活子 权重 神经网络硬件 降低功耗 累加处理 神经网络 数据移动 在线压缩 转换处理 压缩 加速器 离线 两组 预设 吞吐量 筛选 申请 保证 

摘      要：本申请公开了一种神经网络硬件加速器的数据在线压缩方法及装置，方法包括对神经网络输出的第一激活值进行转换处理，得到第一激活掩码；将第一激活掩码划分为至少两组激活子掩码，并按照预设顺序依次对每组激活子掩码进行累加处理，得到激活位置掩码；基于第一激活掩码、激活位置掩码以及神经网络输出的权重值，计算出激活选择掩码；根据激活选择掩码对第一激活值进行筛选处理，得到目标激活值，并基于目标激活值生成第二激活掩码。通过对激活值进行在线掩码的设置以及对权重值的离线压缩，不仅对不同的神经网络压缩的适应性强，还可提高数据移动效率，在降低功耗的同时保证了吞吐量。