检索结果-内蒙古大学图书馆

光学学报 2022年第12期42卷 201-219页

作者：赵志马燕新许可万建伟国防科技大学电子科学学院湖南长沙410073 国防科技大学气象海洋学院湖南长沙410073

为解决激光雷达点云深度学习网络模型在移动端嵌入式设备部署存在的耗时耗存储问题,提出了一种激光雷达点云可学习二值量化网络模型。该模型基于特征的知识蒸馏,将全精度网络各层统计特征知识转移到二值量化网络,较大幅度地提升了量化精... 详细信息

为解决激光雷达点云深度学习网络模型在移动端嵌入式设备部署存在的耗时耗存储问题,提出了一种激光雷达点云可学习二值量化网络模型。该模型基于特征的知识蒸馏,将全精度网络各层统计特征知识转移到二值量化网络,较大幅度地提升了量化精度;提出基于遗传算法的二值量化尺度因子恢复可学习优化算法,通过逐层搜索初始最优尺度恢复因子,并通过网络自学习大幅减少网络参数量;提出一种统计自适应池化损失最小化算法,包括量化网络自调节和全精度网络转移调节两种方式,以解决量化网络中池化信息损失较大的问题。实验结果表明,所提算法在获取高精度的同时实现了较大压缩比和加速比,可将PointNet大小压缩为原来的1/23、加速35倍以上,对其他点云主流深度网络具有良好的扩展性。

关键词：测量激光雷达点云可学习算法二值量化遗传算法

来源：评论

学校读者我要写书评

暂无评论

基于W正则化和变式余弦动量的二值量化

引用

南开大学学报（自然科学版） 2023年第2期56卷 22-30,36页

作者：刘畅陈莹江南大学轻工过程先进控制教育部重点实验室江苏无锡214122

目前二值量化在信息提取过程中只能提取参数符号信息并且完全忽视位置信息,这导致了二值神经网络精度提升困难.针对当前存在的问题,提出了基于W正则化及变式余弦动量的新训练模块.W正则化可依据二值量化特点,对网络权重进行一定调整,使... 详细信息

目前二值量化在信息提取过程中只能提取参数符号信息并且完全忽视位置信息,这导致了二值神经网络精度提升困难.针对当前存在的问题,提出了基于W正则化及变式余弦动量的新训练模块.W正则化可依据二值量化特点,对网络权重进行一定调整,使得不同位置的参数根据不同函数进行优化.设计充分利用了参数位置信息,同时提升了二值量化精度.此外,引入连续可导的变式余弦动量,即针对权重的位置分布添加不同幅度的动量,使得距离±1区间较远的参数可以以较快的速度逼近零点,该动量可以大幅提升收敛速度,在不影响推理速度的情况下进一步增加量化精度.在CIFAR-10, CIFAR-100, SVHN, Tiny ImageNet数据集上的实验结果表明,该方法在预测准确率上分别可以达到84.74%, 56.58%, 96.33%和42.41%,高于现有的先进算法.

关键词：神经网络模型压缩二值量化 W正则化变式余弦动量

来源：评论

学校读者我要写书评

暂无评论

基于信息熵最大化的二值量化算法研究

基于信息熵最大化的二值量化算法研究

引用

作者：许子涵厦门大学

学位级别：硕士

模型量化指通过降低深度神经网络模型权重比特位,将浮点计算转化成低比特定点计算,有效减少模型的空间占用、加快模型推理速度,使模型满足在资源受限的边缘设备应用的要求。其中,模型二值化是模型量化的一种极端情况,它可以最大程度地... 详细信息

模型量化指通过降低深度神经网络模型权重比特位,将浮点计算转化成低比特定点计算,有效减少模型的空间占用、加快模型推理速度,使模型满足在资源受限的边缘设备应用的要求。其中,模型二值化是模型量化的一种极端情况,它可以最大程度地减小模型的存储和计算开销,也因此在近年来备受关注。然而,二值化网络相比于全精度网络,有着严重的精度损失,这限制了二值化网络在实际场景中的应用。造成二值化网络精度损失的原因主要有两点,即量化误差问题和梯度不匹配问题。同时,二值化网络还面临着收敛速度慢,模型表达能力弱等问题。为了解决这些问题,本文提出了一种基于信息熵最大化的二值量化算法,缓解了模型二值化过程中遇到的多种问题。本文的主要工作如下: (1)提出了二值化网络中失活权重的概念,并指出这部分失活权重严重影响了二值化网络的收敛速度和性能,且带来了较大的量化误差。 (2)提出了一种基于信息熵最大化的整流钳制单元来恢复二值化网络中的失活权重,并证明了在模型训练中使用该整流钳制单元后,可以有效减小模型的量化误差,并提高权重的信息熵,增强模型的表达能力。 (3)在二值化网络反向传播阶段,本文针对梯度不匹配问题提出了一种渐进梯度近似函数,提升了梯度计算的准确性。本文还针对二值化模型中各层收敛速度不一致的问题,设计了一个动态学习率调节器,平衡了模型各层的收敛速率,解决了因模型各层收敛速率差异过大而导致的梯度弥散问题。本文通过大量实验验证了本文所提出方法的有效性,并通过与其他最先进的二值量化方法对比,证明了本文方法在性能、训练收敛速度和实际推理速度等三个方面都能带来明显的提升效果,且均优于其他方法。

关键词：模型量化二值量化信息熵梯度近似

来源：评论

学校读者我要写书评

暂无评论

基于二值量化与知识蒸馏的模型压缩算法研究

基于二值量化与知识蒸馏的模型压缩算法研究

引用

作者：王帅帅华中科技大学

学位级别：硕士

随着神经网络模型规模和复杂度的不断升级,计算开销和内存需求逐渐成为神经网络在资源受限设备上落地的桎梏,因此,模型压缩优化成为了学术界和工业界研究热点。但目前提出的模型压缩算法还存在着严重破坏网络精度、压缩效果不理想及压... 详细信息

随着神经网络模型规模和复杂度的不断升级,计算开销和内存需求逐渐成为神经网络在资源受限设备上落地的桎梏,因此,模型压缩优化成为了学术界和工业界研究热点。但目前提出的模型压缩算法还存在着严重破坏网络精度、压缩效果不理想及压缩方式单一等问题。针对二值量化离散性导致了二值网络严重的信息丢失上问题,提出了基于残差单元及多阶段梯度近似的二值量化算法。在二值网络的前向传播阶段,基于残差单元的网络结构,将类似的shortcut引入到二值网络中,以加和的方式保留全精度的激活值来增大信息容量,并将shortcut相连的特征图激活值的信息熵做为权重以最大化激活值的信息量。针对二值网络反向传播过程中的离散化对二值网络的梯度误差进行优化,设计不同的近似函数对离散函数进行近似,在保留反向传播算法的更新能力的同时,将梯度误差最小化。设计了多组对照实验,在Image Net和CIFAR-10数据集上验证了二值量化算法的有效性。针对传统知识蒸馏利用到的知识形式单一,知识迁移率低等问题,提出了基于结构特征知识的多阶段渐进知识蒸馏。以解题的角度看待神经网络,将中间特征知识、关系特征知识及输出特征知识进行有效结合,构建了一个完整的知识体系,设计了一种能够充分利用教师网络多种知识形式的知识蒸馏算法。并在Image Net和CIFAR-10数据集及Res Net使用VGG网络结构上验证了蒸馏算法的有效性。针对现存的模型压缩方案利用的压缩算法单一,压缩效果不佳等问题,结合以上两种算法的特点,提出了基于结构互蒸馏的二值量化和知识蒸馏融合算法。首先使用基于残差单元及多阶段梯度近似的二值量化算法对学生网络进行预量化,然后基于前述的知识蒸馏算法设计了一个在线蒸馏模块,最后基于输出特征知识设计一个离线再蒸馏模块。该融合方法有效解决了直接蒸馏二值网络时的知识迁移受限及陷入局部最小值等问题,近一步提高了二值网络的精度。最后在Image Net和CIFAR-10数据集上分析证明了融合算法的有效性。

关键词：神经网络模型压缩知识蒸馏二值量化

来源：评论

学校读者我要写书评

暂无评论

视觉传感器网络中基于散度模型的协作式图像压缩机制

引用

通信学报 2011年第3期32卷 69-78页

作者：叶松涛林亚平易叶青湖南大学信息科学与工程学院湖南长沙410082 湖南省可信系统与网络重点实验室湖南长沙410082

结合视觉传感器网络的协同工作特性,提出一种基于散度模型的图像压缩机制。理论分析和实验结果表明,该压缩机制不仅可以减少图像数据量,而且由于压缩后每字节数据所含信息量由各簇内节点的二值量化像素均分,不会引起传输错误在图像中大... 详细信息

结合视觉传感器网络的协同工作特性,提出一种基于散度模型的图像压缩机制。理论分析和实验结果表明,该压缩机制不仅可以减少图像数据量,而且由于压缩后每字节数据所含信息量由各簇内节点的二值量化像素均分,不会引起传输错误在图像中大面积扩散。相比于采用传统的图像压缩算法,随着平均分组丢失率的增高,接收图像峰值信噪比较高。

关键词：视觉传感器网络图像压缩散度模型二值量化

来源：评论

学校读者我要写书评

暂无评论

三维点云深度模型压缩算法

引用

国防科技大学学报 2023年第5期45卷 193-201页

作者：赵志许可马燕新万建伟国防科技大学电子科学学院湖南长沙410073 国防科技大学气象海洋学院湖南长沙410073

随着计算机三维视觉的广泛应用,近几年基于深度学习的点云处理算法得到了大量研究,而耗时耗存储的缺陷较大程度限制了其在移动端的部署应用。基于改进损失函数的总体思路,提出了一种新的点云深度模型压缩框架,将知识蒸馏方法引入二值量... 详细信息

随着计算机三维视觉的广泛应用,近几年基于深度学习的点云处理算法得到了大量研究,而耗时耗存储的缺陷较大程度限制了其在移动端的部署应用。基于改进损失函数的总体思路,提出了一种新的点云深度模型压缩框架,将知识蒸馏方法引入二值量化模型中,同时考虑点云聚合操作的特殊性引入了辅助损失项,改进的损失函数共包括预测损失项、蒸馏损失项和辅助损失项三部分。实验结果表明,和已有算法相比,所提算法可以获取更高的精度,同时对当前点云主流深度网络模型也具有良好的扩展性。

关键词：点云知识蒸馏二值量化损失函数

来源：评论

学校读者我要写书评

暂无评论

基于轻量化网络的遥感目标检测算法研究

基于轻量化网络的遥感目标检测算法研究

引用

作者：苏展西安电子科技大学

学位级别：硕士

遥感目标检测技术在国防军事、民用经济等领域发挥着重要作用。然而,实现对光学遥感图像中目标的高精度且实时检测仍然面临诸多挑战。比如,如何挖掘复杂场景下多个不同尺度遥感目标的深层特征,以解决遥感目标检测效果不理想的问题;如何... 详细信息

遥感目标检测技术在国防军事、民用经济等领域发挥着重要作用。然而,实现对光学遥感图像中目标的高精度且实时检测仍然面临诸多挑战。比如,如何挖掘复杂场景下多个不同尺度遥感目标的深层特征,以解决遥感目标检测效果不理想的问题;如何设计合理的位置损失函数,以解决遥感目标定位不准确的问题;如何在确保检测精度达标的情况下降低算法的复杂度,以实现遥感目标的快速检测。针对上述问题,本文深入分析遥感图像中目标和背景的相对数据特性,在课题组完成的光学遥感目标检测技术的基础上,探索了具备高精度且低复杂度的遥感目标检测技术,并通过多个真实的遥感数据集在检测精度和复杂度两个方面来评价本文提出的算法模型。本文的创新点总结如下:(1)提出多尺度特征融合遥感目标检测算法MFFD。通过设计全卷积神经网络FCN-13充分提取遥感目标的空间特征和语义特征,然后设计独立的3个检测层来检测不同尺度的目标,并融合浅层特征和深层特征来提高MFFD算法识别小目标的精度。MFFD算法在NWPU VHR-10数据集和RSOD数据集上的m AP指标与先进的YOLOv3算法相比几乎一致,但是检测速度领先YOLOv3算法,在GPU上达到160FPS,在CPU上达到4FPS。(2)为进一步提升检测性能,采用GIo U代替二范数作为MFFD算法的位置损失函数。GIo U是Io U的一种改进,能更好地反映两个边界框的重叠情况并具备尺度不变性,从而更好地约束MFFD算法在训练过程中寻找最优解。通过测试NWPU VHR-10数据集,GIo U位置损失函数可以提高MFFD算法1.46%的m AP指标且不会降低检测速度。(3)为了去除冗余参数且减少运算量以便算法最终应用于实际工程中,引入深度可分离卷积并设计深度逆残差结构来去除MFFD算法的3×3标准卷积的冗余参数,命名为MFFD-DIR算法。MFFD-DIR算法的运算量降至1.754BFLOPs,浮点参数量降至1686560。引入二值量化思想并合理量化MFFD-DIR算法的部分逐点卷积层以减少浮点参数量,命名为Light-MFFD算法。Light-MFFD算法的运算量降至1.046BFLOPs,浮点参数量降至932928。Light-MFFD算法在NWPU VHR-10数据集上的检测效果领先经典目标检测算法COPD、SSD和Faster R-CNN,m AP指标达到87.05%,领先YOLOv3算法0.72%。Light-MFFD算法在RSOD数据集上检测立交桥目标的效果不佳,但检测其余目标的AP指标均达到87.28%以上。Light-MFFD算法的检测速度在GPU上达到130FPS,是YOLOv3算法的2.5倍,在CPU上达到9FPS,是YOLOv3算法的30倍。

关键词：遥感目标检测轻量化多尺度特征融合深度可分离二值量化

来源：评论

学校读者我要写书评

暂无评论

基于低精度量化的卷积神经网络在FPGA上的加速研究

基于低精度量化的卷积神经网络在FPGA上的加速研究

引用

作者：祁迪华中科技大学

学位级别：硕士

随着深度学习理论研究的不断深入和应用技术的不断推广,传统的卷积神经网络在语音识别、图像处理、自然语言处理等领域已经取得了巨大的成功。然而,卷积神经网络越来越大的计算规模和越来越复杂的模型结构已成为其在移动端和嵌入式端部... 详细信息

随着深度学习理论研究的不断深入和应用技术的不断推广,传统的卷积神经网络在语音识别、图像处理、自然语言处理等领域已经取得了巨大的成功。然而,卷积神经网络越来越大的计算规模和越来越复杂的模型结构已成为其在移动端和嵌入式端部署的瓶颈。最近的研究结果表明,经过量化后的卷积神经网络可大量减小参数规模和计算成本。在保证一定准确度的情况下,网络模型的训练过程权重和隐藏层激活二值量化为+1或者-1,量化的权重和激活值用于计算参数梯度,这样的量化操作使得内存消耗理论上减少为全精度模型的1/32。更重要地,Xnor逻辑运算和popcount位移运算可以替换原来的卷积运算,这样更是极大的减少了运算时耗。结合FPGA可编程、可重构以及低功耗的特点和二值量化的训练方法,通过Vivado HLS高级综合工具在Xilinx PYNQ-Z1轻量级开发板上对基于VGG16改进的网络进行了加速实现。从卷积层、池化层、正则归一化层、全连接层进行了相应的优化,并设计了一个矩阵向量乘法单元,通过控制调整其中的PE数量和SIMD通道数能够使模型达到局部性能最优,并最终获得整体最优性能。通过优化获得了相较于前人更高的数据吞吐量、更快的处理速度和更低的功耗。同时提供几种不同量化组合的性能对比,结果表明,量化精度越高,识别准确率越高,但是模型所需内存就越大,推理速度越慢。最后,利用本文的加速方案和量化思路实现了一个基于Squeezenet改进的目标检测网络,并获得了85.7%的准确率、31.8FPS以及2.4W的功耗。后期可根据本文方案在不同FPGA上甚至ARM端和移动GPU端部署结构更加复杂的网络模型。

关键词：卷积神经网络 FPGA 二值量化矩阵向量乘法单元

来源：评论

学校读者我要写书评

暂无评论

基于加权处理的改进型Logistic-Map混沌扩频序列产生装置及方法

基于加权处理的改进型Logistic-Map混沌扩频序列产生装置及方法

引用

作者：薛睿魏强付芳徐锡超常亮 150001 黑龙江省哈尔滨市南岗区南通大街145号哈尔滨工程大学科技处知识产权办公室

本发明提供的是一种基于加权处理的改进型Logistic-Map混沌扩频序列产生装置及方法。在初始值范围内随机选取两个初始值a和b，将这两个初始值分别输入改进型Logistic-Map器中并产生两个不同的实值混沌序列{X1}和{X2}，选取两个加权系数c... 详细信息

标准号: CN103490845B

本发明提供的是一种基于加权处理的改进型Logistic-Map混沌扩频序列产生装置及方法。在初始值范围内随机选取两个初始值a和b，将这两个初始值分别输入改进型Logistic-Map器中并产生两个不同的实值混沌序列{X₁}和{X₂}，选取两个加权系数c和d，其中c+d=1，将两个混沌实值序列{X₁}和{X₂}通过乘法器分别与加权系数相乘得到两个加权的混沌序列{X₁'}和{X₂'}，将加权后的混沌序列{X₁'}和{X₂'}通过加法器进行相加求和得到一个新的混沌实值序列{X_Σ}，将得到的新混沌序列{X_Σ}通过二值量化器按照阈值进行二值量化判决得到一个由“-1”和“1”组成的标准二进制混沌扩频序列{C}。本发明产生的混沌扩频序列保密性好，不容易通过反向逆推估计出系统初始值。

关键词：两个混沌序列混沌扩频序列二值量化加权系数实值序列改进型混沌加权二进制相乘系统初始值产生装置加权处理随机选取保密性乘法器范围内加法器求和逆推实值一种相加选取产生判决容易进行组成

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：