检索结果-内蒙古大学图书馆

小型微型计算机系统 2025年

作者：陈晋音曹志骐郑海斌郑雅羽浙江工业大学网络空间安全研究院浙江工业大学信息工程学院

随着边缘智能设备的飞速发展，为了在资源受限的边缘端设备上部署参数和存储需求巨大的深度模型，模型压缩技术显得至关重要.现有的模型压缩主要包含剪枝、量化、知识蒸馏和低秩分解四类，量化凭借推理快、功耗低、存储少的优势，使它... 详细信息

随着边缘智能设备的飞速发展，为了在资源受限的边缘端设备上部署参数和存储需求巨大的深度模型，模型压缩技术显得至关重要.现有的模型压缩主要包含剪枝、量化、知识蒸馏和低秩分解四类，量化凭借推理快、功耗低、存储少的优势，使它成为了边缘端部署的常用技术.然而，已有的量化方法主要关注的是模型量化后的模型精度损失和内存占用情况，而忽略模型量化可能面临的安全性威胁.因此，针对模型量化的安全性研究显得尤为重要.本文首次针对模型量化的安全性问题展开分析，首先定义了模型量化的攻防理论，其次按照模型量化前和模型量化过程中两个阶段对量化攻击方法和量化防御方法进行分析归纳，整理了针对不同攻击任务进行的通用基准数据集与主要评价指标，最后探讨了模型量化的安全性研究及其应用，以及未来潜在研究方向，进一步推动模型量化的安全性研究发展和应用.

关键词：模型量化模型安全对抗攻击后门攻击隐私窃取公平性模型防御

来源：评论

学校读者我要写书评

暂无评论

深度神经网络模型量化方法综述

引用

工程科学学报 2023年第10期45卷 1613-1629页

作者：杨春张睿尧黄泷遆书童林金辉董志伟陈松路刘艳殷绪成北京科技大学计算机与通信工程学院北京100083 北京科技大学自动化学院北京100083 北京科技大学−亿智电子人工智能联合实验室北京100083

近年来,利用大型预训练模型来提高深度神经网络在计算机视觉以及自然语言处理等具体任务下的泛化能力和性能,逐渐成为基于深度学习的人工智能技术与应用的发展趋势.虽然这些深度神经网络模型表现优异,但是由于模型的结构复杂、参数量庞... 详细信息

近年来,利用大型预训练模型来提高深度神经网络在计算机视觉以及自然语言处理等具体任务下的泛化能力和性能,逐渐成为基于深度学习的人工智能技术与应用的发展趋势.虽然这些深度神经网络模型表现优异,但是由于模型的结构复杂、参数量庞大与计算成本极高,使得它们仍然难以被部署在如家电或智能手机等资源受限的边缘及端侧硬件平台上,这很大程度上阻碍了人工智能技术的应用.因此,模型压缩与加速技术一直都是深度神经网络模型大规模商业化应用推广的关键问题之一.当前在多种模型压缩与加速方案中,模型量化是其中主要的有效方法之一.模型量化技术可以通过减少深度神经网络模型参数的位宽和中间过程特征图的位宽,从而达到压缩加速深度神经网络的目的,使量化后的网络能够部署在资源有限的边缘设备上,然而,由于量化会导致信息的大量丢失,如何在保证模型任务精度条件下实现模型量化已经成为热点问题.另外,因硬件设备以及应用场景的不同,模型量化技术已经发展成为一个多分支的研究问题.通过全面地调研不同角度下模型量化相关技术现状,并且深入地总结归纳不同方法的优缺点,可以发现量化技术目前仍然存在的问题,并为未来可能的发展指明方向.

关键词：深度神经网络模型压缩与加速模型量化量化感知训练后训练量化混合精度量化

来源：评论

学校读者我要写书评

暂无评论

融合模型量化和缓存优化的实时语音监测方法

引用

计算机工程与应用 2024年

作者：吴非沈润楠陈宇北京市文化市场综合执法总队宣传与执法保障中心北京航空航天大学复杂关键软件环境全国重点实验室北京航空航天大学计算机学院北京航空航天大学沈元学院

针对文化市场新业态的监管需求，提出一种融合模型量化和缓存优化的实时语音监测方法。通过模型量化，在有限精度损失的情况下优化大模型加载速度并降低系统资源开销。在数据缓存优化方面采用最长公共前缀策略动态调整缓冲区设置，提升... 详细信息

针对文化市场新业态的监管需求，提出一种融合模型量化和缓存优化的实时语音监测方法。通过模型量化，在有限精度损失的情况下优化大模型加载速度并降低系统资源开销。在数据缓存优化方面采用最长公共前缀策略动态调整缓冲区设置，提升语音转录内容上下文关联同时降低词错率（WER）。最后，针对敏感内容训练基于BERT-TextCNN的敏感信息检测模型，建立非现场监管语音监测体系，实现对演出内容的实时监测和预警。实验结果表明，提出的模型量化方法在Whisper-large-v3预训练模型的FP16和FP32两个基准测试中分别能够提升2.62倍和2.11倍推理速度，与现有方法相比具有优势；在语音识别准确率和延迟方面，采用缓存优化策略后语音转录延迟平均降低了12.88%，中文词错率降低了14.42%；在语言类演出节目构成的真实数据集上进行实验，BERT-TextCNN模型对敏感内容的检测准确率达到92.66%与其他方法相比具有更高的精确度和召回率，证明所提方法能够有效支撑对小剧场等文化演出形式的非现场监管。

关键词：语音识别模型量化最长公共前缀敏感内容检测

来源：评论

学校读者我要写书评

暂无评论

智能物联网终端自适应模型量化方法

引用

计算机科学 2023年第11期50卷 306-316页

作者：王羽展郭斌王虹力刘思聪西北工业大学计算机学院西安 710129

随着深度学习与万物互联的快速发展,将深度学习与移动终端设备结合已经成为了一大研究热点.深度学习给终端设备带来性能提升的同时,将模型部署在资源受限的终端设备时也面临诸多挑战,如终端设备计算和存储资源受限,深度学习模型难以适... 详细信息

随着深度学习与万物互联的快速发展,将深度学习与移动终端设备结合已经成为了一大研究热点.深度学习给终端设备带来性能提升的同时,将模型部署在资源受限的终端设备时也面临诸多挑战,如终端设备计算和存储资源受限,深度学习模型难以适应不断变化的设备状态等.基于此,研究了资源自适应的深度学习模型自适应量化问题.提出资源自适应混合精度模型量化方法,利用门控网络和骨干网络进行模型构建,以层为粒度寻找模型最佳量化策略,结合边端设备降低模型资源消耗.为了寻找最优模型量化策略,采取基于FPGA的深度学习模型部署.需要将模型部署在资源受限的边端设备上时,根据资源约束进行自适应训练,采取量化感知方法降低模型量化带来的精度损失.实验结果表明,该方法能够在保留78％的准确率的同时,降低50％的存储空间;同时,在FPGA设备上模型精度下降不超过2％,而能源消耗降低60％.

关键词：智能物联网深度学习模型量化资源自适应 FPGA

来源：评论

学校读者我要写书评

暂无评论

深度学习模型量化及相关压缩技术研究

深度学习模型量化及相关压缩技术研究

引用

作者：周逸伦上海交通大学

学位级别：硕士

近年来随着深度卷积神经网络的不断发展,图像分类、目标检测、语义分割等领域都取得了突破性的进展。而与此同时,卷积神经网络所需的参数量与计算量也日益增大,使网络模型在智能手机或嵌入式平台等资源受限硬件上的部署成为了一项相当... 详细信息

近年来随着深度卷积神经网络的不断发展,图像分类、目标检测、语义分割等领域都取得了突破性的进展。而与此同时,卷积神经网络所需的参数量与计算量也日益增大,使网络模型在智能手机或嵌入式平台等资源受限硬件上的部署成为了一项相当有挑战性的工作。因此,需要研究对现有卷积神经网络模型进行压缩的算法,减少模型的内存占用和计算量,从而使网络模型在实际部署硬件上能有更好的性能表现。本文对卷积神经网络的压缩和加速算法展开研究,对当前存在的模型压缩与加速方法进行了全面的分析和总结,并在模型量化方面完成了两点工作:第一,采用量化的方法对模型参数进行定点化处理,减少了模型所需的空间,同时也能够提高网络的运行效率。根据模型参数分布规律提出了一种基于缩放系数估计的卷积神经网络模型量化方法。以提出的神经网络模型量化算法为基础,本文针对实时语义分割网络ICNet进行量化,并采用逐通道权重量化以及渐进量化策略减少低比特量化的精度损失,最终的4比特量化网络相比原网络精度下降了大约4%,但是模型大小压缩了8倍。第二,研究了8比特量化网络的部署和实现。对于路面检测任务,使用TensorRT前向推理工具进行了网络优化和部署。针对TensorRT无法实现自主设计的量化算法的问题,本文基于CUDA编程和cuDNN神经网络加速库实现了INT8量化网络的前向推理。实验结果表明,相比全精度网络,该框架能够将路面检测任务的推理速度提升约一倍,同时量化后网络的准确率与原网络相比只下降了约0.3%。

关键词：深度学习卷积神经网络模型量化语义分割

来源：评论

学校读者我要写书评

暂无评论

基于知识蒸馏的图像篡改定位模型量化压缩研究

基于知识蒸馏的图像篡改定位模型量化压缩研究

引用

作者：黎思力深圳大学

学位级别：硕士

图像篡改取证是多媒体信息安全取证中至关重要的一个研究方向,随着近年来互联网的飞速发展,各种图像编辑软件的更新迭代,大量的高质量篡改图片夹杂在各种媒体信息渠道中,人们难以分辨。当这些图片被用于散播虚假消息时,将会对整个社会... 详细信息

图像篡改取证是多媒体信息安全取证中至关重要的一个研究方向,随着近年来互联网的飞速发展,各种图像编辑软件的更新迭代,大量的高质量篡改图片夹杂在各种媒体信息渠道中,人们难以分辨。当这些图片被用于散播虚假消息时,将会对整个社会和个人带来非常严重的影响,这引起了相关部门以及学术机构对图像篡改取证研究的重视。近几年来,深度学习的飞速发展使得图像处理和计算机视觉方向上不断的产生技术突破,这也逐渐成为了图像篡改取证的研究重点,即越来越多的图像篡改取证方法基于深度学习进行研究和拓展。在过去几年里,通过从深度和广度上去拓展深度学习模型的规模以此来提升图像篡改定位模型的精度是很常用的一种方式,这导致了模型运行时的计算成本和存储占用显著增加,模型对部署的硬件要求较高,需要性能较好的GPU服务器,否则推理速度较慢。基于这个背景下,本文通过探索模型压缩领域的技术来提高图像篡改定位模型部署后的推理速度,并且使压缩后的模型精度下降在一个可容忍的程度。最后实现一个图像篡改定位应用系统。本文围绕对图像篡改定位模型压缩工作,进行了以下两个工作: (1)提出了一种改进MGD(Masked Generative Distillation,MGD)蒸馏的算法,并用于图像篡改定位模型Dense FCN的低比特量化。本文发现MGD蒸馏算法中存在着一个缺点,即对于遮掩率的处理不足。遮掩率是MGD算法中的一项重要超参数,该超参数用于量化Dense FCN模型蒸馏时非常敏感,根据MGD对该值规定的范围内设定不同的值去对Dense FCN模型量化时进行蒸馏,得到的量化模型精度有较大差异,因此,获取该参数的最优值需要耗费大量时间和精力。除此之外,在MGD蒸馏的训练后期,固定的遮掩率无法带来提升,因为模型已经适应特定遮掩率带来的训练效果。基于上述原因本文提出动态遮掩率的方法DMGD(Dynamic MGD),不仅能够解决对该超参数调参比较困难的问题,而且在训练过程后期,DMGD能够给出适当的遮掩率来突破训练后期的瓶颈。实验结果表明,DMGD算法的精度优于不同固定遮掩率的MGD算法,减少了大量的调参时间同时提高精度。此外,对比其他主流特征蒸馏算法,DMGD也能取得最优的性能,并且在低比特量化时表现出更强的鲁棒性。 (2)设计并开发一个图像篡改定位应用系统,该系统使用Py QT5进行开发,有别于传统的同类型应用,该系统拥有图像篡改定位功能,并且提供了丰富的模型,包括在各种数据集上训练好的Dense FCN模型,这些模型分别有Pytorch版、Openvino版和基于上述工作(1)的模型在Openvino量化版共3种类型可供用户选择,用户自由选择想要的模型进行推理后可以进行时间对比。除了基本的图像篡改定位功能,该系统还提供了不同版本的模型在各个场景下测试的推理速度对比,通过前端框架Pyecharts绘制的数据图嵌入应用进行展示,用户可以详细对比不同模型的加速效果。

关键词：图像篡改定位深度学习模型量化知识蒸馏

来源：评论

学校读者我要写书评

暂无评论

卷积神经网络模型量化方法研究

卷积神经网络模型量化方法研究

引用

作者：宋浩萌石家庄铁道大学

学位级别：硕士

神经网络在性能提升的同时伴随着庞大的参数量和计算量。为此,研究人员致力于卷积神经网络模型的压缩与加速,旨在减少网络存储需求、降低运算复杂度并节约硬件资源,从而实现在资源受限的嵌入式设备上的部署。本文聚焦于深度卷积神经网... 详细信息

神经网络在性能提升的同时伴随着庞大的参数量和计算量。为此,研究人员致力于卷积神经网络模型的压缩与加速,旨在减少网络存储需求、降低运算复杂度并节约硬件资源,从而实现在资源受限的嵌入式设备上的部署。本文聚焦于深度卷积神经网络量化和压缩算法这一研究热点,针对不同的应用场景,提出了一系列低位宽量化压缩加速算法,为神经网络在移动设备和嵌入式系统中的应用提供了有效支持。论文的主要工作内容如下: (1)针对需要快速恢复模型精度的应用场景,提出了一种基于网络微调训练的量化方法。该方法可以同时对模型权重和激活进行量化,对于因模型量化导致的精度损失,通过微调训练可以在较短的时间内最大限度地恢复模型的精度。首先,搜索特定的子图结构,实施图融合操作,减少神经网络模型的参数数量。然后,通过Min Max和Percentile校准方法分别求解权重和激活的量化系数,为后续的量化操作奠定基础。最后将模型切分成可训练的子图,采用少量的校准数据对网络微调训练,从而在一定程度上恢复模型的精度。 (2)对于需要实现极低比特量化并保持一定精度的场景,提出了一种基于误差分析的混合精度量化方法。首先,分析了网络模型的累计量化误差,发现累计误差在经过某些算子时,反而有所下降,因此,将算子的敏感度和单独误差联系起来,为不同的算子分配不同的量化位宽,降低了模型的冗余,提高了模型的精度。这种方法相比于统一精度量化可以有效地减少量化过程中信息的损失,拥有更好的模型精度。 (3)针对追求极高压缩率的应用需求,提出了一种结合剪枝、聚类和量化的综合方法。该方法将三种模型压缩技术融合,充分发挥各个技术的长处,逐步压缩模型,实现了在保持较小精度损失的前提下,相较单一压缩方法更高的压缩率。

关键词：模型量化混合精度量化卷积神经网络权值共享

来源：评论

学校读者我要写书评

暂无评论

混合精度超分辨率模型量化方法研究

混合精度超分辨率模型量化方法研究

引用

作者：刘京雨国防科技大学

学位级别：硕士

当今硬件的设备算力以及存储容量,已经可以让机器学习的各个领域充分地发挥出自己的强大性能,如深度学习中的计算机视觉任务,就在工业、商业以及导航、通信和航天领域发挥出巨大的作用。然而,随着模型的不断增大,其消耗的内存也越来越多... 详细信息

当今硬件的设备算力以及存储容量,已经可以让机器学习的各个领域充分地发挥出自己的强大性能,如深度学习中的计算机视觉任务,就在工业、商业以及导航、通信和航天领域发挥出巨大的作用。然而,随着模型的不断增大,其消耗的内存也越来越多,训练和推理时间也变得更长,导致计算效率下降,系统能耗增加。这给深度学习模型在边缘设备,移动设备以及微型设备上的应用造成了很大的阻碍。为了解决这些问题,模型压缩技术正在逐渐兴起和研究,例如模型量化。在已有的量化方法中,量化感知训练考虑了模型训练中数据映射带来的精度损失,即在量化时对权重等数据进行钳位和近似,由此产生的量化误差通过损失函数在反向传播中一起更新,从而优化了量化结果。本文中以超分辨率模型为研究对象。超分辨率技术是深度学习的典型应用,其主要工作是将一副小尺寸的图片放大依然保持纹理细节清晰。目前对整个超分辨率模型都采用同一种精度进行量化,虽然模型大小和推理时间等方面优化了很多,但是模型精度基本上都大幅度下降,并且对超分辨率模型的不同阶段进行量化后对模型精度的影响也不相同,有些阶段的量化会使得模型精度降低得更多,有些阶段的量化对模型精度的影响却很小。为了得到更好地超分辨率模型量化结果,本文提出了一种混合精度量化超分辨率模型的机制,该机制可以自动地对已有的超分辨率模型进行混合精度量化,在大幅减少模型尺寸和模型推理时间的同时,该机制和原精度模型的效果也十分接近。本文主要的工作和创新点如下:1、提出了“量化敏感性”的概念。量化敏感性表现为一种现象,即当对一个网络模型进行量化时,对网络中不同阶段进行量化所引起的误差差别很大。量化敏感性产生的原因是网络模型中的每个阶段的权重参数在整个模型的重要性不同。如果这些阶段对量化不敏感,则它们也不会影响其它阶段,反之亦然。在此基础上,提出了一种多阶段的超分辨率模型量化方案。在训练模型中,对超分辨率模型的各个阶段进行量化,将单独或者几个阶段组合在一起进行量化。这样可以解决用同一种精度对整个模型量化的问题,而且也可以观察哪些阶段模型的量化结果会比较地“敏感”。2、本文设计实现了混合精度的超分辨率模型量化方法。为了让超分辨率模型的量化精度、推理时间以及模型尺寸都能够得到优化,基于前面多阶段量化的结果,本文将比较敏感阶段的部分使用更高位数的量化、不敏感的阶段仍然使用原精度量化的混合精度量化方法。该方法在缩小模型尺寸的同时,缩短了推理时间,同时模型效果与原精度模型近似。3、本文提出了一种自动选择量化精度的机制,设计了混合精度量化超分辨率模型的框架。由于在多精度量化阶段,本文发现敏感阶段的卷积核中输入输出通道数的比值差别比较大,也就是数据转换的维度差别很大,所以论文在这个框架里实现了一种自动选择敏感阶段的机制,在遍历整个模型时,根据每个阶段卷积核中输入输出通道数比值进行量化精度选择,提升了整个框架的自动化程度。本文选用了两个典型的超分辨率模型:SRGAN和ESRGAN作为测试对象。这两个超分辨率模型都是基于对抗生成网络的深度学习模型。本文从模型大小、推理时间和重构效果三个方面分析和对比了两个模型的量化结果。同时,为了证明本文所提出多精度量化方法的泛化能力,本文使用了超分辨率领域的8个典型图像集作为测试集,发现量化后的平均误差仅各增加了5.07%和0.18%,甚至有些数据集上混合量化后的结果还优于原有的模型。

关键词：模型量化量化敏感性多精度量化框架超分辨率量化感知训练

来源：评论

学校读者我要写书评

暂无评论

基于学习优化策略及量化方法的深度学习模型在指甲病诊断中的应用研究

引用

中国数字医学 2025年第3期20卷 44-52页

作者：张绪森赵亮张进王明举十堰市太和医院信息资源部湖北十堰442000

目的:构建深度学习模型解决临床诊断常见指甲疾病过程中效率低、不够准确的问题,并降低模型对运行设备的性能要求。方法:构建包含1 025张指甲病图片的疾病数据集,利用迁移学习、标签平滑、热身策略和余弦退火4种深度学习优化策略对VGG19... 详细信息

目的:构建深度学习模型解决临床诊断常见指甲疾病过程中效率低、不够准确的问题,并降低模型对运行设备的性能要求。方法:构建包含1 025张指甲病图片的疾病数据集,利用迁移学习、标签平滑、热身策略和余弦退火4种深度学习优化策略对VGG19、ResNet50、ResNet101、EfficientNet_B2、MobileNetv3、MobileNetv2和DenseNet模型在上述数据集及两个公开数据集上进行训练,并结合量化方法提高模型效率,最后进行消融实验对比7种模型的效率与准确性,得到性能最好的模型。结果:与另外两个数据集对比,模型在本研究构建的数据集上训练后均达到了最高的准确性。对模型量化后,7种模型参数量在同一数量级的情况下,本研究构建的MobileNetv2模型在保证较低的读写内存、存储内存以及推理时间的情况下仍能达到最高的准确性。结论:该研究训练的MobileNetv2模型可提升临床对常见指甲病的诊断准确性和效率,且对运行设备性能要求较低,尤其适用于缺乏专业医学设备的偏远地区。

关键词：指甲病深度学习模型量化卷积神经网络

来源：评论

学校读者我要写书评

暂无评论

嵌入式肌电腕带实时采集与识别系统设计

引用

计算机工程 2025年第2期51卷 259-268页

作者：阳佩珉闵华松武汉科技大学信息科学与工程学院湖北武汉430081

目前,大多数商用表面肌电(sEMG)信号采集系统存在价格昂贵、便携性和时效性无法满足应用需求的缺陷。为了解决该问题,结合模拟采集电路的精度要求以及微控制器低功耗、高性能、灵活性等方面的需求,设计一种嵌入式一体化肌电腕带,可以用... 详细信息

目前,大多数商用表面肌电(sEMG)信号采集系统存在价格昂贵、便携性和时效性无法满足应用需求的缺陷。为了解决该问题,结合模拟采集电路的精度要求以及微控制器低功耗、高性能、灵活性等方面的需求,设计一种嵌入式一体化肌电腕带,可以用于实时手势识别。首先,采用低成本、低噪声的精密放大器完成模拟采集电路设计,并在仿真环境中对电路进行仿真验证,保证信号采集质量;其次,在低功耗、高性能的微控制器ESP32-S3上提出轻量化卷积神经网络L-CNN以进行实时识别。L-CNN在预训练后进行剪枝和量化,然后完成部署。通过剪枝算法去除模型中冗余的权重参数,减小模型大小,加快推理速度,并微调到预训练模型中。量化将原有32位浮点数降到8位整数进行计算,使模型尺寸降低以适用于嵌入式设备。实验结果表明,L-CNN的尺寸相比原模型大幅降低,推理速度得到提升,并且在实时手势识别中能达到95%左右的识别准确率,验证了整个系统的可靠性。

关键词：表面肌电信号手势识别微控制器模型剪枝模型量化

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：