检索结果-内蒙古大学图书馆

电子学报 2023年第3期51卷 639-647页

作者：黄赟张帆郭威陈立羊光信息工程大学河南郑州450001 国家数字交换系统工程技术研究中心河南郑州450002 河南省广播电视监测中心河南郑州450002

当前卷积神经网络模型存在规模过大且运算复杂的问题,难以应用部署在资源受限的计算平台.针对此问题,本文基于数据标准差提出了一种适合部署在现场可编程门阵列(Field Programmable Gate Array, FPGA)上的对数量化方法 .首先,依据FPGA... 详细信息

当前卷积神经网络模型存在规模过大且运算复杂的问题,难以应用部署在资源受限的计算平台.针对此问题,本文基于数据标准差提出了一种适合部署在现场可编程门阵列(Field Programmable Gate Array, FPGA)上的对数量化方法 .首先,依据FPGA的特性提出对数量化方法,将32 bit浮点乘法运算转换为整数乘法及移位运算,提高了运算效率.然后通过研究数据分布特点,提出基于数据标准差的输入量化及权值混合bit量化方法,能够有效减少量化损失.通过对RepVGG、EfficientNet等网络进行效率与精度对比实验,8 bit量化使得大型神经网络精度仅下降1%左右;输入量化为8 bit,权重量化为10 bit场景下,模型精度损失小于0.2%,达到浮点模型几乎相同的准确率.实验表明,所提量化方法能够使得模型大小减少75%左右,在基本保持原有模型准确率的同时有效地降低功耗损失、提高运算效率.

关键词：卷积神经网络现场可编程门阵列对数量化数据标准差混合bit

来源：评论

学校读者我要写书评

暂无评论

基于对数的卷积神经网络训练后量化技术研究

基于对数的卷积神经网络训练后量化技术研究

引用

作者：黄赟战略支援部队信息工程大学

学位级别：硕士

近年来,卷积神经网络（Convolutional Neural Networks,CNN）模型广泛应用于计算机视觉、自然语言处理、语音识别等任务中,取得了令人瞩目的成绩。以图像分类任务为例,2015年Resnet模型准确率成功超过人类水平,之后高质量模型也不断推... 详细信息

近年来,卷积神经网络（Convolutional Neural Networks,CNN）模型广泛应用于计算机视觉、自然语言处理、语音识别等任务中,取得了令人瞩目的成绩。以图像分类任务为例,2015年Resnet模型准确率成功超过人类水平,之后高质量模型也不断推陈出新,将模型准确率推向更高的水平。但是,上述成绩通常以模型的冗余计算为代价,通过将模型进行堆积叠加来获取更好的精度,导致当前构建的模型往往很大、运算复杂。而实际中所用到的智能手机、无人机等运算受限设备,往往需要考虑存储、推理时间及能耗等一系列问题,致使当前较大的模型并不适合实际部署在这些设备中。对此,本文使用训练后量化方法对模型进行压缩加速,以解决上述提到的CNN模型应用部署难问题。针对当前训练后量化存在量化模型依然含有浮点运算,导致硬件设备运算效率不高问题,以及当前训练后量化过程需要使用到数据集进行量化微调或参数预估,而并不适合应用在数据敏感性场景问题,分别提出相应方法加以解决。本文提出使用对数量化策略,同时在对数量化的基础上进行改进优化,取得如下研究成果:1.针对训练后量化方法依然含有浮点乘法运算,导致运算效率不高问题,提出使用对数量化策略。通过分析硬件设备的运算特性,选择使用FPGA来部署CNN模型。针对FPGA计算资源有限导致浮点运算效率较低的问题,而当前常用量化策略依然含有浮点乘法算子,对此提出使用对数量化策略,使得量化模型仅含有整数乘法、加法及移位运算,能够加快量化模型的运算速率。实验结果表明,对数量化方法量化误差在1%左右,量化误差较大,对此分析了其产生的问题。2.针对对数量化存在的量化误差较大问题,提出基于数据标准差的对数量化改进策略。通过研究量化数据分布特点,提出基于数据标准差的激活量化及权值混合比特量化方法,能够有效减少量化损失。通过对Rep VGG、Efficient Net等网络进行效率与精度对比实验,8比特量化使得大型神经网络精度下降在0.5%左右;将激活量化为8比特,权重量化为10比特场景下,模型精度损失小于0.2%,达到浮点模型几乎相同的准确率。实验表明,所提量化方法能够使得模型大小减少75%左右,在基本保持原有模型准确率的同时有效地降低功耗损失、提高运算效率。3.针对数据敏感性场景下模型量化存在数据集不可用的问题,提出了一种无需使用数据集的量化方法。首先,依据批归一化层参数及图像数据分布特性,通过误差最小化方法获得模拟输入数据;然后通过研究数据舍入特性,提出基于损失最小化的因子动态舍入方法。通过对Ghost Net等分类模型及M2Det等目标检测模型进行量化实验,验证了所提量化方法对图像分类及目标检测模型的有效性。实验结果表明所提方法能够将量化误差降低至0.5%左右。

关键词： CNN模型训练后量化对数量化策略数据标准差损失最小原则

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：