检索结果-内蒙古大学图书馆

智能系统学报 2024年第5期19卷 1072-1081页

作者：丁贵广陈辉王澳杨帆熊翊哲梁伊雯清华大学软件学院北京100084 清华大学北京信息科学与技术国家研究中心北京100084 涿溪脑与智能研究所浙江杭州311121

近年来,深度学习模型规模越来越大,在嵌入式设备等资源受限环境中,大规模视觉深度学习模型难以实现高效推理部署。模型压缩加速可以有效解决该挑战。尽管已经出现相关工作的综述,但相关工作集中在卷积神经网络的压缩加速,缺乏对视觉Tran... 详细信息

近年来,深度学习模型规模越来越大,在嵌入式设备等资源受限环境中,大规模视觉深度学习模型难以实现高效推理部署。模型压缩加速可以有效解决该挑战。尽管已经出现相关工作的综述,但相关工作集中在卷积神经网络的压缩加速,缺乏对视觉Transformer模型压缩加速方法的整理和对比分析。因此,本文以视觉深度学习模型压缩技术为核心,对卷积神经网络和视觉Transformer模型2个最重要的视觉深度模型进行了相关技术手段的整理,并对技术热点和挑战进行了总结和分析。本文旨在为研究者提供一个全面了解模型压缩和加速领域的视角,促进深度学习模型压缩加速技术的发展。

关键词：视觉深度学习模型压缩轻量化结构模型剪枝模型量化模型蒸馏 Transformer 序列剪枝

来源：评论

学校读者我要写书评

暂无评论

面向飞行机械臂的实时目标检测与定位算法

引用

南京航空航天大学学报 2022年第1期54卷 27-33页

作者：张睿王尧尧段雅琦陈柏南京航空航天大学机电学院南京210016 浙江大学流体动力与机电系统国家重点实验室杭州310027 中国兵器工业集团航空弹药研究院有限公司哈尔滨150046

飞行机械臂要完成自主抓取的任务,对目标物的识别与定位尤为关键。当前飞行机械臂视觉识别算法多采用传统的特征提取等方法。为提升目标物识别及定位的精度和效率,本文设计了一种基于YOLOv5深度学习目标检测算法和RGB‑D传感器的视觉识... 详细信息

飞行机械臂要完成自主抓取的任务,对目标物的识别与定位尤为关键。当前飞行机械臂视觉识别算法多采用传统的特征提取等方法。为提升目标物识别及定位的精度和效率,本文设计了一种基于YOLOv5深度学习目标检测算法和RGB‑D传感器的视觉识别与定位算法,该算法可以实时检测目标物并对其位姿进行估计,为飞行机械臂的抓取工作服务。同时针对深度学习算法计算量庞大,在嵌入式端无法实现高性能实时检测的问题,引入了模型量化技术优化算法,大幅提升算法推理速度。本文介绍了算法的整体框架及实现过程,利用COCO数据集和动作捕捉系统分别验证了目标检测和位姿估计部分算法的有效性。

关键词：飞行机械臂 YOLOv5 RGB‑D 目标检测模型量化位姿估计

来源：评论

学校读者我要写书评

暂无评论

面向车规级芯片的对象检测模型优化方法

引用

智能系统学报 2021年第5期16卷 900-907页

作者：宫大汉于龙龙陈辉杨帆骆沛丁贵广清华大学软件学院清华大学北京信息科学与技术国家研究中心涿溪脑与智能研究所清华大学自动化系禾多科技(北京)有限公司

卷积神经网络复杂的网络结构使得模型计算复杂度高,限制了其在自动驾驶等实际终端场景中的应用。针对终端场景下的计算资源受限的问题,本文从轻量化深度模型设计和车规级芯片模型部署验证两方面进行研究。针对深度模型计算效率和检测精... 详细信息

卷积神经网络复杂的网络结构使得模型计算复杂度高,限制了其在自动驾驶等实际终端场景中的应用。针对终端场景下的计算资源受限的问题,本文从轻量化深度模型设计和车规级芯片模型部署验证两方面进行研究。针对深度模型计算效率和检测精度的矛盾,本文设计了基于中心卷积的轻量化对象检测模型,实现功耗低且精度高的模型性能。进一步,本文基于量化感知训练的模型加速部署方法在车规级芯片上开展了系统级部署验证,在车规级芯片tda4上成功实现了高效的对象检测模型,在自动驾驶场景中取得了良好的性能。

关键词：人工智能计算机视觉对象检测终端设备车规级芯片卷积神经网络模型加速模型量化

来源：评论

学校读者我要写书评

暂无评论

面向电网拓扑调度仿真的采样效率优化方法研究

引用

系统仿真学报 2024年第2期36卷 283-295页

作者：赵莹莹董普森朱天晨李凡苏运邰振赢孙庆赟凡航国网上海市电力公司电力科学研究院上海200437 国网上海市电力公司上海200125 北京航空航天大学北京100191 华北电力大学北京100096

为解决新型电力系统的规模性与复杂性导致的仿真计算量较大,仿真速度相对变缓的问题,提出了一种基于分布式与量化机制的拓扑调度仿真加速方法。通过拓扑调度模型的并行,增大了单位时间内数据仿真采样的规模;引入了量化算子,加快拓扑调... 详细信息

为解决新型电力系统的规模性与复杂性导致的仿真计算量较大,仿真速度相对变缓的问题,提出了一种基于分布式与量化机制的拓扑调度仿真加速方法。通过拓扑调度模型的并行,增大了单位时间内数据仿真采样的规模;引入了量化算子,加快拓扑调度模型算子计算,减少单次仿真的时间成本。算例分析验证了拓扑仿真加速的有效性,在单位时间内将仿真电力系统的可用传输容量提升了约2倍,并在不同规模电网算例实现了1.5~2.5倍的仿真加速。

关键词：拓扑调度仿真深度强化学习采样效率优化模型量化电网数字孪生

来源：评论

学校读者我要写书评

暂无评论

基于改进YOLOv4算法的轻量化网络设计与实现

引用

计算机工程 2022年第3期48卷 181-188页

作者：孔维刚李文婧王秋艳曹鹏程宋庆增天津工业大学计算机科学与技术学院天津300387 天津工业大学电气工程与自动化学院天津300387 中国电子科技集团公司信息科学研究院北京100086

在嵌入式设备上进行目标检测时易受能耗和功耗等限制,使得传统目标检测算法效果不佳。为此,对YOLOv4算法进行优化,设计YOLOv4-Mini网络结构,将其特征提取网络由CSPDarkNet53改为MobileNetv3-large并进行INT8量化处理,其中网络结构利用PW... 详细信息

在嵌入式设备上进行目标检测时易受能耗和功耗等限制,使得传统目标检测算法效果不佳。为此,对YOLOv4算法进行优化,设计YOLOv4-Mini网络结构,将其特征提取网络由CSPDarkNet53改为MobileNetv3-large并进行INT8量化处理,其中网络结构利用PW和DW卷积操作代替传统卷积操作以大幅减少计算量。采用SE模块为通道施加注意力机制,激活函数层运用h-swish非线性激活函数,在保证精度的情况下降低网络计算量。同时,通过量化感知训练将权重转为INT8类型,以实现模型轻量化,进一步降低网络参数量和计算量,从而在嵌入式设备上完成无人机数据集的目标检测任务。在NVIDIA Jetson Xavier NX设备上进行测试,结果显示,YOLOv4-MobileNetv3网络的mAP为34.3%,FPS为30,YOLOv4-Mini网络的mAP为32.5%,FPS为73,表明YOLOv4-Mini网络能够在低功耗、低能耗的嵌入式设备上完成目标实时检测任务。

关键词：目标检测模型压缩嵌入式设备轻量化神经网络模型量化 Jetson Xavier NX设备

来源：评论

学校读者我要写书评

暂无评论

面向端侧的模型压缩和轻量级神经网络的研究与应用

面向端侧的模型压缩和轻量级神经网络的研究与应用

引用

作者：管晓春浙江工业大学

学位级别：博士

以卷积神经网络为代表的深度学习技术在图像识别与分类、目标检测、语音识别、数据分析等众多领域取得了一系列重大突破。这些模型通常运行于算力与存储资源均丰富的云端，而随着物联网技术的发展，人们对数据的隐私安全性和设备的能耗... 详细信息

以卷积神经网络为代表的深度学习技术在图像识别与分类、目标检测、语音识别、数据分析等众多领域取得了一系列重大突破。这些模型通常运行于算力与存储资源均丰富的云端，而随着物联网技术的发展，人们对数据的隐私安全性和设备的能耗提出了新的要求，使得研究基于端侧微控制器来实现独立、低功耗和高性价比的嵌入式人工智能技术成为必然的发展趋势。　　针对面向端侧的轻量级深度神经网络模型的特征迁移性、模型设计和模型量化的问题，本文进行了探索与研究。首先，基于轻量级深度神经网络模型来进行深度特征迁移性的探索，并利用传统的稀疏建模方法研究内嵌于高维深度特征内的低维数据结构;然后，针对端侧微控制器设备的内存资源和算力资源都很受限的挑战，研究面向微控制器的基于微分架构搜索的轻量级网络模型设计方法;随后，展开面向端侧的混合精度量化方法的构建，使得模型在规模和性能上取得更好的平衡;最后，以手写数字识别模型为例分别在数字信号处理器和微控制器等硬件平台上的部署应用实例。综上所述，本文对面向端侧的轻量级神经网络模型进行了四个方面的研究，具体如下所示：　　1、针对传统的稀疏表达与字典学习、线性核化方法和弹性网络统计建模缺乏互耦性，本文提出了一种基于融合核的线性核化方法。首先，该方法利用高斯核函数与余弦核函数的互补属性与线性核化方法进行核特征空间转换，可以提高核特征空间的特征表达和简化核方法的使用;然后，进一步结合统计学习模型利用弹性网络正则化研究线性核化特征空间的特征成组性，通过实验发现适当选取融合核有助于提高核特征空间的表达能力，该方法在AR人脸数据集上的准确率比基于高斯核的线性核化字典学习方法有4.8%的提升;最后，将该方法用于轻量级神经网络模型的深度特征统计学习建模的研究，结果表明联合本文所提基于融合核的线性核化方法有助于使深度特征的迁移特性更显著。　　2、针对利用混合低精度量化模型时需要在端侧部署时进行繁琐的数据对齐等运算处理的问题，本文提出了一种新的混合量化方法，将1位整型量化和8位整型量化进行综合，实现一种8-1混合精度量化方法。新的混合量化模型能够更好地适应资源受限的端侧设备的内存和算力限制，有助于在模型规模和模型性能之间取得更好的平衡。　　3、针对端侧的微控制器与通用计算机相比其内存资源与算力受限的问题，本文提出了一种基于微分架构搜索面向微控制器的轻量级网络模型设计方法。该方法考虑在嵌入式操作系统的软件框架下结合了模型推理延迟并将数据存储空间对中间激活特征图大小的约束与程序存储空间对模型参数规模的约束作为微分架构搜索的优化约束项，来进行定制化设计面向微控制器的轻量级神经网络模型的方法，进一步使微型机器学习的典型应用适配端侧设备的内存与算力资源，以使模型在性能与规模上达到更好的平衡，并以关键词唤醒模型为例展开研究，实验结果表明在满足内存资源限制下可以使设计的模型达到更好的性能。　　4、本文分别在数字信号处理器和微控制器硬件平台上进行手写数字识别模型的部署应用。首先，提出以开源神经网络框架作为数字信号处理器的部署框架和结合优化函数库的部署方法;然后，利用矩阵乘法来代替多重循环以实现模型前向算法在数字信号处理器上的高效推理;最后，结合嵌入式实时操作系统在以微控制器为核心的四旋翼无人机上展开手写数字识别模型的部署应用。

关键词：模型压缩轻量神经网络模型量化端侧计算机视觉嵌入式系统轻量级网络

来源：评论

学校读者我要写书评

暂无评论

基于NVIDIA TX2的喷码字符检测算法

引用

计算机工程与应用 2022年第13期58卷 210-216页

作者：李帆胡维平刘北北刘雨戈广西师范大学电子工程学院广西桂林541000 中国科学院自动化研究所苏州研究院江苏苏州215000

针对复杂商品背景下喷码字符漏喷、重叠、缺失等现象,提出一种基于YOLOv5+CRNN的喷码字符检测算法。喷码字符定位算法以YOLOv5为基础网络,结合注意力机制提高其检测精度,再通过稀疏训练和通道剪枝降低模型参数量与复杂度,最终检测精度... 详细信息

针对复杂商品背景下喷码字符漏喷、重叠、缺失等现象,提出一种基于YOLOv5+CRNN的喷码字符检测算法。喷码字符定位算法以YOLOv5为基础网络,结合注意力机制提高其检测精度,再通过稀疏训练和通道剪枝降低模型参数量与复杂度,最终检测精度提高了3.4个百分点,模型参数量降低了6.7 MB。对定位后的字符区域进行背景擦除和透视变换处理后送入CRNN网络实现喷码字符识别,最终将改进后的算法部署至NVIDIA TX2嵌入式平台。通过在食品包装工厂生产流水线实测,检测速度达到28 frame/s,字符定位精度99.4%,识别率95%,且具有很好的鲁棒性。

关键词： YOLOv5算法 CRNN网络目标检测字符识别嵌入式模型量化

来源：评论

学校读者我要写书评

暂无评论

自动语音识别模型压缩算法综述

引用

吉林大学学报（理学版） 2024年第1期62卷 122-131页

作者：时小虎袁宇平吕贵林常志勇邹元君吉林大学计算机科学与技术学院长春130012 吉林大学大数据和网络管理中心长春130012 中国第一汽车集团有限公司研发总院智能网联开发院长春130011 吉林大学生物与农业工程学院长春130022 长春中医药大学医药信息学院长春130117

随着深度学习技术的发展,自动语音识别任务模型的参数数量越来越庞大,使得模型的计算开销、存储需求和功耗花费逐渐增加,难以在资源受限设备上部署.因此对基于深度学习的自动语音识别模型进行压缩,在降低模型大小的同时尽量保持原有性... 详细信息

随着深度学习技术的发展,自动语音识别任务模型的参数数量越来越庞大,使得模型的计算开销、存储需求和功耗花费逐渐增加,难以在资源受限设备上部署.因此对基于深度学习的自动语音识别模型进行压缩,在降低模型大小的同时尽量保持原有性能具有重要价值.针对上述问题,全面综述了近年来该领域的主要工作,将其归纳为知识蒸馏、模型量化、低秩分解、网络剪枝、参数共享以及组合模型几类方法,并进行了系统综述,为模型在资源受限设备的部署提供可选的解决方案.

关键词：语音识别模型压缩知识蒸馏模型量化低秩分解网络剪枝参数共享

来源：评论

学校读者我要写书评

暂无评论

基于Octave卷积的混合精度神经网络量化方法

引用

计算机应用 2021年第5期41卷 1299-1304页

作者：张文烨尚方信郭浩中国人民大学信息学院北京100872 山西虚拟现实产业技术研究院有限公司太原030024 太原理工大学信息与计算机学院太原030024

浮点数位宽的深度神经网络需要大量的运算资源,这导致大型深度神经网络难以在低算力场景(如边缘计算)上部署。为解决这一问题,提出一种即插即用的神经网络量化方法,以压缩大型神经网络的运算成本,并保持模型性能指标不显著下降。首先,基... 详细信息

浮点数位宽的深度神经网络需要大量的运算资源,这导致大型深度神经网络难以在低算力场景(如边缘计算)上部署。为解决这一问题,提出一种即插即用的神经网络量化方法,以压缩大型神经网络的运算成本,并保持模型性能指标不显著下降。首先,基于Octave卷积将输入特征图的高频和低频成分进行分离;其次,分别对高低频分量应用不同位宽的卷积核进行卷积运算;第三,使用不同位宽的激活函数将高低频卷积结果量化至相应位宽;最后,混合不同精度的特征图来获得该层卷积结果。实验结果证实了所提方法压缩模型的有效性,在CIFAR-10/100数据集上,将模型压缩至1+8位宽时,该方法可保持准确率指标的下降小于3个百分点;在Image Net数据集上,使用该方法将Res Net50模型压缩至1+4位宽时,其正确率指标仍高于70%。

关键词：深度神经网络模型量化模型压缩卷积神经网络深度学习

来源：评论

学校读者我要写书评

暂无评论

深度神经网络的模型压缩与加速技术研究

深度神经网络的模型压缩与加速技术研究

引用

作者：孙其功西安电子科技大学

学位级别：博士

迄今为止,人工神经网络已经经历了七十多年跌宕起伏的发展。得益于研究者们的探索与坚持,目前,深度神经网络(DNNs)在语音识别、自然语言处理、图像理解、视频分析等众多应用中均取得了突破性的成果。随着研究的不断深入,神经网络的层次... 详细信息

迄今为止,人工神经网络已经经历了七十多年跌宕起伏的发展。得益于研究者们的探索与坚持,目前,深度神经网络(DNNs)在语音识别、自然语言处理、图像理解、视频分析等众多应用中均取得了突破性的成果。随着研究的不断深入,神经网络的层次不断加深,随之而来的是不断增加的计算复杂度和不断提高的计算和存储资源需求。如何把这些复杂的深度神经网络部署到资源有限的边缘设备(例如,移动电话、嵌入式设备和智能芯片)上成为一个难题。在庞大的应用市场需求的刺激下,深度神经网络的压缩与加速技术研究显得尤为重要。模型量化作为其中一项典型的技术,它可以将原来32位浮点数表示的数值转化成低比特的定点数,从而实现模型的压缩与计算加速。本文基于模型量化加速任务,以速度更快、精度更高、信息损失更小、模型更鲁棒、样本更少和异构加速等为目标开展以下研究,具体内容有:(1)针对多比特量化模型的加速问题,本文提出了基于{-1,+1}编码的量化模型分解与加速方法。该方法可以将任意多比特的量化模型分解为多分支的二值神经网络,在前向推理时每个分支可以利用二值神经网络的加速器来通过位操作实现计算加速,从而在保证模型精度的同时,又能充分地利用二值神经网络的加速效果。该方法具有训练简单、支持多种量化比特、适合硬件部署的特点。(2)针对利用混合精度量化的优化以提高量化模型性能的问题,本文提出了基于单支路序列化搜索的方法。在第三章中,我们将混合精度量化问题转化成神经网络结构搜索问题,并提出了一个可微分的神经网络结构搜索方法来对网络各层的量化精度进行搜索。在每次搜索时只对搜索空间的一个候选对象进行采样并使其参与到模型计算,从而减少计算复杂度和节约硬件资源。在搜索过程中,我们以选择确定性为指标按顺序地确定每层的量化精度,从而指数级的减少搜索空间,使搜索网络以更快的速度达到收敛。(3)为了缓解模型量化带来的信息损失问题,我们提出了基于多尺度小波表征的量化神经网络。该网络利用小波变换的多尺度特性将原始数据分解为多个频率域分量,然后对不同尺度下的分量进行量化,从而有效地缓解高频域的信息损失。多尺度小波量化具有保留更多信息、更强的表示能力、应用灵活和效果突出的优点。在实际使用时,我们可以根据实际结构在不同的层次上利用不同的小波基进行小波分解,然后根据不同的量化比特来选择恰当的量化器,以提高量化模型的效果。(4)针对量化比特或者量化策略发生调整时模型精度显著下降的问题,我们提出了一种支持热插拔位宽调整的鲁棒性神经网络。它可以在无需任何优化和微调的条件下实现在线的量化比特调整。我们利用小波分解与重构的特性,在引入少量模型参数的情况下提高模型表达的多样性,并对不同精度情况的超参进行优化学习。当进行量化比特调整时,模型会自动地选择对应的超参和支路进行计算,该过程不需要任何训练与精调,可以在秒级完成,从而达到用户无感知的热插拔调整的效果。(5)针对样本不足的情况下模型量化的需求,我们提出了基于双向误差重构的小样本训练方法。该方法是典型的后训练量化方法。经过理论分析,我们发现随着量化比特的降低,量化敏感度呈指数级增长,模型权值的分布成为量化敏感度的重要因素。基于此,我们提出了一种鲁棒性的后训练量化方法,能够在不损失模型精度的情况下,将权值参数的分布拉向对量化友好的均匀分布。然后,我们利用所提出的双向误差重构算法来进行逐块特征重构以实现对量化参数的学习,从而降低量化损失。该方法可以在低比特情况下实现目前最好的精度效果。(6)以上章节的内容均是对模型量化在不同关键问题上的理论方法研究,为了实际测试量化模型的加速效果,我们在Xilinx的异构平台上进行了验证。本章节以Xilinx的ZCU102开发板和Ultra96 v2开发板为硬件平台并且配置了一系列配套的系统。基于这些硬件平台和系统我们展开了对模型轻量化和硬件加速的实验。通过将预训练的模型进行量化、微调、交叉编译等操作,部署到异构硬件平台上测试其性能。实验表明,模型量化能显著的提高模型的推理速度,具有更高的能效比。

关键词：模型量化加速器神经网络结构搜索多尺度小波表征鲁棒性神经网络小样本异构加速

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：