检索结果-内蒙古大学图书馆

作者：雒福涛燕山大学

学位级别：硕士

近年来，深度卷积神经网络在图像检测、目标识别、语义分割等计算机视觉场景中取得了巨大的成功，然而高性能深度卷积神经网络的背后往往是高计算量和高密集度参数，很难应用在资源受限的边缘设备上。为了能够在低资源的设备上运行高精... 详细信息

近年来，深度卷积神经网络在图像检测、目标识别、语义分割等计算机视觉场景中取得了巨大的成功，然而高性能深度卷积神经网络的背后往往是高计算量和高密集度参数，很难应用在资源受限的边缘设备上。为了能够在低资源的设备上运行高精度的深度卷积神经网络模型，需要研发结构简单的高精度小模型，而知识蒸馏算法是一种获取高效小模型网络的新兴方法，引起了国内外广泛关注。然而常规知识蒸馏算法知识形式单一、易忽略内部知识特征的学习，故本文针对如何缓解上述问题展开研究，主要研究内容如下：　　（1）针对传统知识蒸馏算法在“知识”迁移过程中存在知识形式单一的问题，提出了一种结构-响应特征知识融合的知识蒸馏算法。在所提算法中，为了充分挖掘教师网络所蕴含的特征知识，给出了一种融合响应特征和结构特征的蒸馏策略来提升学生网络模型的精度;为了有效监督学生网络的学习经过，利用内部特征提取模块提取并确定中间层特征之间的角度关系与距离关系;为了确定非目标性知识和目标性知识对蒸馏效果的影响，通过对网络模型的输出进行知识解耦，分离出非目标性知识和目标性知识，验证两种知识对蒸馏效果的影响，并通过一种改进的损失函数，加强非目标性知识的比重。实验仿真证明，所提知识蒸馏算法不仅相对其他经典算法有了明显的改善，而且可实现一次性对学生模型进行两种知识的迁移。　　（2）为了进一步提升知识蒸馏效果，提出了一种基于选取特定蒸馏位置的知识回顾蒸馏算法。该算法为了加强学生网络对中间特征知识的学习，确定教师网络中间层最优特征提取位置，并通过激活函数划分积极信息和消极信息以便学生网络的学习;为了使教师网络中间层可指导多层学生网络学习，引入了知识回顾算法并通过跨层链接实现中间特征层的信息融合。遵循教师网络深层输出特征对融合后的学生网络深层特征进行指导，教师网络浅层输出特征对融合后的学生网络所有深层特征输出进行指导的思路。为了验证提出算法的有效性，使用了图像分类的数据集进行检验。实验结果证明，在上不增加额外计算成本的条件下，该算法依然能获得性能明显优化其他算法的小模型。

关键词：深度卷积神经网络模型压缩知识蒸馏特征知识解耦语义分割

来源：评论

学校读者我要写书评

暂无评论

基于知识蒸馏的医学图像模型压缩方法研究

基于知识蒸馏的医学图像模型压缩方法研究

引用

作者：席烁电子科技大学

学位级别：硕士

近年来,以卷积神经网络为代表的深度学习方法在医学图像的分类、分割等任务上取得了超越传统方法的成绩,得到了越来越广泛的研究和应用。但是,一方面,由于医学图像的特殊性,适用于自然图像的深度学习模型在用于医学图像上时,模型精度会... 详细信息

近年来,以卷积神经网络为代表的深度学习方法在医学图像的分类、分割等任务上取得了超越传统方法的成绩,得到了越来越广泛的研究和应用。但是,一方面,由于医学图像的特殊性,适用于自然图像的深度学习模型在用于医学图像上时,模型精度会有所下降;另一方面,现存的深度学习模型普遍计算量大、参数过多,应用于硬件资源受限的设备时存在一定难度,大模型也在训练集数据少的情况下出现过拟合的问题。为了改善和解决上述问题,本论文围绕模型本身和知识蒸馏方法进行研究,主要研究内容和贡献如下:(1)针对医学图像分类模型压缩中传统知识蒸馏框架训练得到模型精度下降的问题,分析了传统知识蒸馏框架的理论原理,研究了基于知识蒸馏的医学图像分类模型的压缩方法,提出了基于层级连接的混合知识蒸馏方法,对比实现的传统知识蒸馏算法,在十种图像类别的数据集上通过实验评估提出的算法与传统算法的优劣,验证了提出算法的有效性;(2)针对眼底图像视盘分割中现有方法出现的感兴趣区域分割不完整、边缘分割不精确的问题,对于常用的医学图像语义分割网络,研究了对UNet的结构性优化,提出了多尺度表征连接模块(Multi-Scale Connection block)以增强网络的跨层连接性,另外提出了边缘感知损失函数(Edge Aware Loss),来加强模型对感兴趣区域边缘的感知能力。通过在多个数据集上进行实验,验证了提出方法对模型的性能提升;(3)针对医学图像语义分割模型压缩任务上传统知识蒸馏算法的精度下降问题,研究了基于知识蒸馏的医学图像分割模型的压缩方法,对比传统知识蒸馏算法,提出在模型编码器和解码器路径上对多层中间特征进行知识蒸馏,并联合使用教师网络预测软标签和真实值硬标签对学生网络进行训练,同时应用了前述提出的基于层级连接的混合知识蒸馏方法和多尺度表征连接模块到模型中,并在多个数据集上通过实验评估提出的算法与传统算法的优劣,验证了提出算法对模型精度的提升。实验表明,本论文提出的方法在医学图像模型压缩任务上取得了不错的效果,较传统方法有着一定的性能提升。

关键词：深度学习模型压缩知识蒸馏医学图像

来源：评论

学校读者我要写书评

暂无评论

基于YOLOv5目标检测的模型压缩方法研究

基于YOLOv5目标检测的模型压缩方法研究

引用

作者：张奥迪四川师范大学

学位级别：硕士

目标检测技术越来越广泛地应用于人们的日常生活中，从手机面部解锁到机动车无人驾驶都来自于目标检测技术的功劳。目标检测指的是对图片或者影像进行物体的识别分类以及定位。基于深度学习的目标检测方法则凭借速度快、学习能力强等优... 详细信息

目标检测技术越来越广泛地应用于人们的日常生活中，从手机面部解锁到机动车无人驾驶都来自于目标检测技术的功劳。目标检测指的是对图片或者影像进行物体的识别分类以及定位。基于深度学习的目标检测方法则凭借速度快、学习能力强等优势，规避了传统目标检测效率低下，准确度和实时性差等缺点，成为当前目标检测技术的主要方法。随着时代发展，大量研究者为了追求精度，不惜代价增加模型的复杂度、参数量等，使得模型需要耗费大量的内存和推理时间，这对于一些性能和存储有限的嵌入式设备来说，完成部署以及应用是难以实现的。于是研究者开始提出对模型进行压缩，减小模型的内存损耗，同时提高推理速度、增强部署能力。本文针对YOLOv5模型进行轻量化设计以及模型压缩。探索一种或几种能够保持其精度不变，并能降低参数量的方法，使其模型能够部署到存储能力有限的嵌入式设备中。主要研究工作如下:　　1)YOLOv5目标检测模型的改进　　为增强YOLOv5s模型在遥感图像上的定位及小目标的检测能力，提出一种改进YOLOv5模型的方法。MobileNetv3是一种表现优异的轻量化网络结构，具备极强的特征提取能力，提出使用MobileNetv3Small结构替换掉YOLOv5s中的backbone部分，达到增强模型目标检测能力的目的，同时也能够解决图像环境复杂等问题。实验表明，经修改后模型的参数量和计算量大大减小，精确度获得提高，有利于在目标检测任务上的实际应用。　　2)基于YOLOv5s模型的剪枝算法　　针对YOLOv5模型中参数冗余且计算量大等问题，使用修改后的EagleEye剪枝方法对YOLOv5s目标检测模型进行剪枝。该方法需要根据具体的模型结构详细地设置每一层需要被剪枝的部分，利用神经架构搜索和通道剪枝等步骤，最终通过微调操作实现有效压缩。压缩后的模型在参数量与计算量上获得大幅削减，但压缩后的精度也随着压缩率的增大有着不同程度的降低。经微调后，精确率恢复到原来的80％,而召回率、mAP@0.5和mAP@0.5∶0.95均恢复至原来的90％以上，但在性能表现上仍旧有提升的空间。　　3)结合剪枝和知识蒸馏方法实现YOLOv5的模型压缩　　为进一步提升模型的精度，在模型剪枝步骤之后，加入知识蒸馏的方法。在实验中，令剪枝后的YOLOv5s模型作为学生模型，剪枝前的YOLOv5模型作为教师模型，通过知识蒸馏方法进行训练。在自建航空数据集上的实验结果表明，所提压缩方法压缩之后的模型与原YOLOv5s模型相比，参数量以及计算量获得大幅下降，而 mAP(mean average precision)@0.5 与 mAP@0.5∶0.95 值略微提高，同时推理速度得到加快。

关键词：目标检测 YOLOv5模型轻量化设计模型压缩

来源：评论

学校读者我要写书评

暂无评论

深度模型压缩在表情识别中的应用研究

深度模型压缩在表情识别中的应用研究

引用

作者：张帅桐华北电力大学

学位级别：硕士

面部表情是人类表达情感传递意图的重要方式,对面部表情的高效识别在医疗看护、疲劳监测与智能家居等领域具有广泛的应用价值。伴随着硬件性能及数据量的提升,卷积神经网络被广泛应用于表情识别任务,其依靠庞大的参数量提升了模型的适... 详细信息

面部表情是人类表达情感传递意图的重要方式,对面部表情的高效识别在医疗看护、疲劳监测与智能家居等领域具有广泛的应用价值。伴随着硬件性能及数据量的提升,卷积神经网络被广泛应用于表情识别任务,其依靠庞大的参数量提升了模型的适应性与准确性,但这种模型大多适于高性能服务器集中处理,带来了高额的数据传输成本与隐私泄露风险,难以在资源受限的边缘设备直接部署。为解决上述问题,本文通过轻量化结构设计、知识蒸馏与通道剪枝三种主流的深度模型压缩方法来实现边缘端的实时表情识别。首先,结合深度可分离卷积与局部通道的注意力机制设计了一个轻量的高效注意力网络(Efficient Attention Network,EAN),在严格控制模型的参数量与计算量的前提下提升了模型的拟合能力。其次,在EAN的训练过程中,针对表情数据集原有独热标签所含信息量少,无法体现表情类别间的相似性关系的问题,基于知识蒸馏思想提出了师生迭代迁移学习方法,选取EAN同时作为教师和学生网络来构建表情识别框架,通过迭代训练方式优化教师网络标注的软标签来辅助学生网络训练,并在每轮迭代训练间还引入模型参数的权重迁移,提升学生模型的特征表达能力。最后,为进一步去除冗余特征信息以得到更为精简的模型,针对师生迭代迁移学习后的EAN提出改进的通道剪枝方法,基于卷积核L2范数与批归一化γ因子设计筛选指标及剪枝比例,并采用局部通道重训练策略来避免师生迭代迁移学习过程的特征损失。实验表明,模型同时保证了良好的实时性能与识别准确率,更好地实现了表情识别模型在复杂度与准确度间的平衡。

关键词：模型压缩表情识别高效注意力网络师生迭代迁移学习通道剪枝

来源：评论

学校读者我要写书评

暂无评论

面向云边协同的模型压缩关键技术研究

面向云边协同的模型压缩关键技术研究

引用

作者：杜文青齐鲁工业大学

学位级别：硕士

随着数字经济的快速发展,边缘业务规模化落地,云边协同计算成为智能化转型突破口。如今模型发展趋于大模型,需要依赖于云端分布式训练,云端训练后往往计算量、参数量较大难以直接应用于下游任务,如何快速高效的处理云端大模型同时保证... 详细信息

随着数字经济的快速发展,边缘业务规模化落地,云边协同计算成为智能化转型突破口。如今模型发展趋于大模型,需要依赖于云端分布式训练,云端训练后往往计算量、参数量较大难以直接应用于下游任务,如何快速高效的处理云端大模型同时保证云端生成的大模型有效部署到边缘端成为了当务之急。知识蒸馏(Knowledge Distillation,KD)作为模型压缩中的主流方法,可以在有效降低模型计算量、参数量的同时保证性能变动不大,为边缘端的部署提供了有效方案。基于此,本文的研究内容总结在如下三个方面: (1)基于元学习的解耦知识蒸馏算法。针对传统知识蒸馏方法中,教师模型难以动态掌握学生模型的特征提取能力,同时教师模型在训练过程中通常参数冻结,无法更新等问题,本研究提出了一种基于元学习的解耦知识蒸馏方法。该方法基于元学习机制,动态调整教师模型,做到“因材施教”,提高学生模型泛化能力;同时引入解耦损失函数有效传递正样本“难度”知识以及负样本的“暗知识”信息,捕获正负样本的信息相关性,提升模型的鲁棒性。大量实验验证了该方法的有效性。 (2)基于动态学习温度的元学习知识蒸馏算法。针对知识蒸馏过程中温度固定不变,难以动态调节蒸馏任务的难度水平,导致蒸馏效果不佳等问题。本研究提出了一种基于动态学习温度的元学习知识蒸馏方法,该方法构建了动态温度调节(DTRM)模块,引入温度因子,灵活调控任务难度水平,使学生模型循序渐进学习知识;沿用元学习的启发式思想,使教师模型可以根据学生反馈动态调整知识传递策略实现因材施教;最后设计了Selective Insight Attention(SIA)注意力机制,以确保学生网络在学习和推理时更加专注于关键信息,从而提升整体性能。丰富的实验证明,我们提出的算法在性能上表现出色。 (3)本研究依托分布式应用程序框架Ray,构建了满足高通量、高可靠、高并发的分布式集群和系统,确保了云边协同模型训练及部署的稳定性和可靠性。将所提算法部署在Ray Serve模块,实现模型的压缩部署。此外,该框架表现出了卓越的扩展能力和灵活性,能够适应各种业务场景的需求。

关键词：云边协同深度学习卷积神经网络模型压缩知识蒸馏

来源：评论

学校读者我要写书评

暂无评论

基于分离卷积二值化网络的模型压缩方法研究

引用

计算机仿真 2023年第2期40卷 390-394页

作者：张雷杨薪颖沈阳航空航天大学电子信息工程学院辽宁沈阳110136

深度卷积神经网络(DeepConvolutional Neural Networks,DCNNs)在各个领域的应用愈加广泛,而在实际应用中DCNN需要大量的计算和内存资源,在资源有限的移动设备上难以部署。因此提出了一种基于深度可分离卷积二值化网络的模型压缩与优化... 详细信息

深度卷积神经网络(DeepConvolutional Neural Networks,DCNNs)在各个领域的应用愈加广泛,而在实际应用中DCNN需要大量的计算和内存资源,在资源有限的移动设备上难以部署。因此提出了一种基于深度可分离卷积二值化网络的模型压缩与优化加速的方法,首先在深度卷积神经网络中使用深度可分卷积代替传统的卷积,其次将网络中的权重和激活值进行二值化,并通过教师网络引导训练,在最大限度的增加计算速度和减少内存资源占用的同时,保持网络的分类精度。实验结果表明,使用上述方法对花卉数据集进行分类识别,在精度仅下降2.2%的情况下,可大幅减少计算时间和内存资源的占用,有利于移动设备的部署。

关键词：模型压缩深度可分离卷积二值化网络

来源：评论

学校读者我要写书评

暂无评论

基于知识蒸馏的模型压缩与推理加速研究

基于知识蒸馏的模型压缩与推理加速研究

引用

作者：李林峰天津工业大学

学位级别：硕士

深度学习已经在各种领域取得了巨大的成功。然而,深度学习模型性能的提升通常伴随着其深度和宽度的增加,这给硬件设备带来了巨大的计算负担。知识蒸馏(Knowledge distillation)作为一种模型压缩的方法,可以将大模型的知识迁移到小模型上... 详细信息

深度学习已经在各种领域取得了巨大的成功。然而,深度学习模型性能的提升通常伴随着其深度和宽度的增加,这给硬件设备带来了巨大的计算负担。知识蒸馏(Knowledge distillation)作为一种模型压缩的方法,可以将大模型的知识迁移到小模型上,显著地增强小模型的性能,从而让小模型取代大模型,以达到模型压缩和推理加速的目的。自蒸馏是知识蒸馏的一种特殊形式,它可以提取自身的知识来增强网络的性能。比起传统的知识蒸馏,自蒸馏有着训练速度快、不需要预训练的教师网络等优点。而与自蒸馏相比,传统的知识蒸馏灵活性更好,对学生网络的性能提升也更明显。如今,自蒸馏与传统的知识蒸馏已经被广泛应用于计算机视觉,自然语言处理等众多领域。学者们对自蒸馏与知识蒸馏的研究热情更是日益高涨。从上述介绍可知,传统的知识蒸馏与自蒸馏有着各自的优缺点以及适用场景。因此,自蒸馏与传统的知识蒸馏都有着极大的研究价值。本文针对现有的自蒸馏算法以及传统的知识蒸馏算法进行研究,对现有的自蒸馏以及知识蒸馏方法的不足进行改进,达到在不增加模型参数量和推理速度的情况下,显著地提升模型性能的目的。具体而言,本文的主要工作如下: (1)本文提出了一个新的自蒸馏框架,知识融合蒸馏(KFD)。具体而言,本文发现了早期特征融合会导致自蒸馏的性能下降,并提出一个选择性特征融合模块(SDFC)来解决这个问题。SDFC可以融合跨阶段的特征,抑制特征融合过程中不重要的特征并强调重要的特征。基于SDFC与密集特征连接,本文提出了KFD。 (2)本文提出了一个新的推理框架,多尺度自适应网络(MSAN)。具体而言,本文首先提出了两种自适应蒸馏策略,其使用主干网络的准确率作为标准,在训练过程中逐渐地放大蒸馏的温度以及蒸馏损失的权重,让网络在训练过程中动态地调整蒸馏知识。该方法可以让网络渐进地学习自身的知识,从而提高自蒸馏的效果。此外,本文利用SDFC融合不同阶段的特征,并将其集成到主干网络,进一步加强梯度传播并提高网络的性能。最后,本文将MSAN与模型早期退出结合,使得简单的样本可以提前从网络中退出,显著地加速了模型推理。 (3)本文提出了一个新的知识蒸馏框架,传递全局与位置信息的蒸馏框架(DFGPD)。首先,本文提出了一个新的知识蒸馏方法——全局与位置蒸馏(GPD)。其次,本文提出了一个新的教师框架,其可以广泛应用于其他知识蒸馏方法来改善蒸馏效果。最后,本文将该教师框架与KFD结合,提出了一个二阶段蒸馏方法,这可以进一步地改善蒸馏效果。

关键词：知识蒸馏自蒸馏选择性密集特征连接推理加速模型压缩全局与位置蒸馏教师框架二阶段蒸馏

来源：评论

学校读者我要写书评

暂无评论

面向边云协同的深度神经网络模型压缩与调度方法研究

面向边云协同的深度神经网络模型压缩与调度方法研究

引用

作者：刘思平西南科技大学

学位级别：硕士

随着深度学习方法不断应用在边云协同的应用场景中,在网络边缘进行神经网络模型推理实现边缘智能将是未来发展的趋势。然而,深度神经网络的推理能耗在随着任务复杂度的增加而逐渐提高,同时大部分边缘设备的能量主要依靠有限的电池供电,... 详细信息

随着深度学习方法不断应用在边云协同的应用场景中,在网络边缘进行神经网络模型推理实现边缘智能将是未来发展的趋势。然而,深度神经网络的推理能耗在随着任务复杂度的增加而逐渐提高,同时大部分边缘设备的能量主要依靠有限的电池供电,这严重阻碍了神经网络在边缘设备的应用。此外,神经网络的计算调度策略不仅影响边云协同系统的资源分配,还决定神经网络的推理能耗和效率。本文研究面向边云协同的深度神经网络模型压缩与调度的问题,主要工作内容如下:1)针对神经网络在边缘设备的推理能耗计算问题,提出了面向边云协同的深度神经网络推理能耗计算模型,目的对神经网络的推理能耗进行准确的评估,使神经网络能够更加灵活的部署到边缘设备。基于神经网络在硬件设备推理的能耗计算框架,通过分析神经网络不同结构的计算特点以及边缘设备的内存存储空间,对经典神经网络模型推理能耗进行了计算和分析。2)针对边缘设备难以加载高能耗的深度神经网络问题,提出了基于能量约束优化的深度神经网络压缩方法。通过神经网络结构化剪枝方法,实现对神经网络的推理能耗进行压缩。度量能量约束下的卷积核重要性,根据卷积核的重要度裁剪模型,以此降低神经网络的能耗以满足边缘节点的能量预算。实验证明,本文的方法可以对神经网络的能耗进行有效的压缩,在降低模型推理能耗的同时不影响其精确率。3)针对边缘节点集群部署神经网络的计算密集型任务问题,提出了基于边缘智能的深度神经网络调度方法。以边缘节点的神经网络推理能耗和负载均衡为优化目标,考虑神经网络在边缘节点的能量消耗和资源需求,通过对信息素更新机制和启发因子的改进和优化,提高蚁群调度算法的收敛性和搜索最优解的能力。实验证明,改进的蚁群优化算法提高了边缘节点的资源利用率,降低了神经网络在边缘节点的推理能耗。

关键词：边云协同边缘智能深度神经网络模型压缩模型调度

来源：评论

学校读者我要写书评

暂无评论

深度神经网络的模型压缩与VLSI优化

深度神经网络的模型压缩与VLSI优化

引用

作者：孙方轩南京大学

学位级别：硕士

近年来,深度神经网络在多个领域,例如计算机视觉、语音识别、自然语言处理等领域都取得了巨大的成功,吸引了学术界和工业界广泛的关注.由于深度神经网络的参数量和计算量巨大,为了获得较快的处理速度,往往采用高性能图形处理器来进行深... 详细信息

近年来,深度神经网络在多个领域,例如计算机视觉、语音识别、自然语言处理等领域都取得了巨大的成功,吸引了学术界和工业界广泛的关注.由于深度神经网络的参数量和计算量巨大,为了获得较快的处理速度,往往采用高性能图形处理器来进行深度神经网络的训练与推理。然而,利用高性能图形处理器对深度神经网络进行推理会导致功耗开销过大。对于硬件资源和功耗有限的嵌入式应用场景而言,图形处理器并不适合作为部署深度学习算法的设备。而中央处理器由于计算资源有限,对神经网络进行推理的速度较慢,所以同样也不适合深度学习在嵌入式应用中的部署。因此,对嵌入式场景中的实时推理来说,高能效比、高处理速度的深度学习专用加速器是非常必要的。目前主流的深度神经网络模型一般有几百万,上千万甚至上亿的参数量。如此高的参数量对于计算芯片的存储容量有着非常高的要求。除此以外,完成深度学习模型的推理往往也需要几百万至上千万次浮点乘加计算。因此,为了能够在专用神经网络加速芯片上实现深度学习的高效推理,需要在保证深度学习网络的泛化能力的前提下,通过利用模型压缩算法减少网络的参数量,降低计算复杂度。从而减少对芯片的存储要求、降低整体能耗。因此,模型压缩算法是实现深度学习的高效部署中的重要方向,也是必经之路。在基于高效模型压缩算法的基础上,深度学习加速芯片需要兼具高计算速度和低功耗开销,同时有一定的可扩展性。针对上述目标,本文准备首先从算法优化方面,通过新颖的压缩方法减少模型的计算和存储复杂度。其次通过理论分析设计合适高效的计算方案,再结合提出的计算方案,针对电路进行优化,从而实现对深度神经网络的压缩和优化,使得能够以较低的功耗开销达到高吞吐率,实现在嵌入式场景下高效部署深度学习网络的目标。本文通过算法优化和硬件加速两个方面来解决深度神经网络在嵌入式场景下的推理低效的问题。本文首先提出了利用自适应计算的机制来消除模型的计算冗余(SGAD算法)。该算法引入二值掩模网络来自适应的对当前的输入样本进行分析,并通过分析结果对神经网络进行自适应的计算跳过。为了能够使得梯度得以正常的反向传播,STE算法被引入对不可微分的函数进行了梯度近似。为了提高网络的鲁棒性,并且让二值掩模网络的决策能够更加更加准确,我们利用神经网络的软信息来作为判断样本识别难以程度的重要标准。并利用该软信息对二值掩模网络的决策进行指引。除此以外,我们还精心设计了可以将识别困难程度和计算跳过比例进行映射的映射策略。实验的结果显示,本文提出的SGAD算法可以以不到1%的精度损失的代价,将计算量平均减少77%。同时在CPU上可以达到3.23倍的推理加速。在CIFAR-100数据集上,SGAD甚至可以将精度提高0.47%的同时减少ResNet-3223%的计算量。SGAD在大多数情况优于学术界目前存在的算法。在硬件加速的方面,本文提出了基于张量队列分解神经网络的高效推理方案,并且居于此推理方案提出了高能效基于张量队列的神经网络推理引擎。本文通过理论分析,将张量分解的数学形式精准高效的映射到硬件计算上,提出了硬件友好的基于张量队列分解的神经网络推理策略,消除了大量冗余计算和不必要的访存。基于提出的高效推理方案,本文在CMOS 28nm工艺下实现了一个16-PE的架构原型。我们的架构可以工作在1GHz,并且只消耗1.74mm2的面积和154.8mW的功耗。相比于现有工作,TIE可以将速度-面积效率和速度-功耗效率分别提高5倍和3倍以上。该结果显示TIE在很多场景下优于目前学术界的神经网络加速器设计。综上,本文通过算法和硬件上的优化和设计,提出并解决了神经网络的高效自适应计算算法,高效的基于张量队列分解的神经网络推理引擎。根据实验验证,和目前学术界的工作相比,本文提出的算法和硬件加速引擎的性能均取得了较大的提升。

关键词：神经网络模型压缩硬件加速自适应计算张量分解

来源：评论

学校读者我要写书评

暂无评论

基于知识蒸馏的深度学习模型压缩及其应用研究

基于知识蒸馏的深度学习模型压缩及其应用研究

引用

作者：龙祖祥湖南大学

学位级别：硕士

深度学习的兴起不仅带来了新的产业模式,同时也为传统产业注入新的活力,目前已经在众多领域得到广泛应用。深度学习模型依靠深层结构、庞大的参数空间,在海量标注数据下进行训练,在获得模型性能提升的同时,通常也带来了巨大的参数量、... 详细信息

深度学习的兴起不仅带来了新的产业模式,同时也为传统产业注入新的活力,目前已经在众多领域得到广泛应用。深度学习模型依靠深层结构、庞大的参数空间,在海量标注数据下进行训练,在获得模型性能提升的同时,通常也带来了巨大的参数量、计算量,对硬件的存储空间与计算能力提出了更高的要求。然而在实际应用中,由于数据隐私性和处理时效性等原因,模型通常需部署在资源受限的端侧或边缘硬件平台上。对深度学习模型进行压缩以减少其运行时的资源消耗、加快前向推理速度,成为深度学习实际应用的关键环节,因此,深度学习模型压缩具有重要的研究意义和应用价值。知识蒸馏旨在使用复杂教师网络来指导精简学生网络的训练,使学生网络获得更高的性能后进行部署,是目前最先进的一类模型压缩方法。本文以卷积神经网络为压缩对象,开展了知识蒸馏方法及其应用研究,具体的研究内容和创新点如下: 1)针对知识蒸馏中知识传递路径单一与知识挖掘不够充分的难题,提出了一种实例相似先验增强的多源知识蒸馏方法,向学生网络转移两种不同来源的知识,即多级特征知识与先验增强的实例相似性关系知识。首先,为使学生网络可以更全面的学习教师网络的多尺度特征,设计了密集连接的知识传递路径和非局部特征融合模块,后者降低密集连接路径的优化复杂性,提高学生网络深阶段对教师网络浅阶段特征知识的学习效率。然后,分别从教师网络的响应和标签中挖掘实例相似性关系知识,并通过两者的交互进行先验增强,在此基础上提出先验相似性蒸馏方式来传递先验增强的实例相似性关系知识。所提出的实例相似先验增强的多源知识蒸馏将Res Net32x4压缩至Res Net8x4,降低了83.5%的计算量和83.4%的参数量,在CIFAR100数据集上获得了76.60%的准确度,相比于基线模型和当前先进方法准确度分别提升了4.10%和0.71%;将Res Net34压缩至Res Net18,降低了50.5%的计算量和47.4%的参数量,在Image Net数据集上取得了71.31%的准确度,相比于基线模型和当前先进方法准确度分别提升了2.01%和0.28%。 2)针对自我知识蒸馏中浅层知识未利用且各分支提取的知识易同质化的问题,提出了一种多样化分支融合的自我知识蒸馏方法。本文首先揭示了多分支自我知识蒸馏范式中不同分支知识的互补关系,浅层知识对图像准确识别的贡献度超过一半,为了更好的利用浅层知识,本文设计了具备全局-局部注意力的分支从主干网络中提取关键特征,并构建了特征选择融合与动态logits融合两个模块,将不同层级分支的知识进行高效融合,为知识蒸馏提供了更丰富稳健的知识源。由于传统自我知识蒸馏中各分支在同一监督的约束下会趋向同质化,这会导致知识源的性能下降,为此,本文在不同分支之间引入多样性损失函数,鼓励各分支探索具有差异性的知识,以提高了整个网络的性能。所提方法对以Res Net18为骨干网络的卷积神经网络图像分类模型进行压缩,在CIFAR100、Tiny-Imagenet和Image Net三个数据集分别获得了82.65%、60.88%和71.09%的准确度,同样的模型压缩问题上相比于当前先进自我知识蒸馏方法准确度分别提升了0.89%、1.13%和0.92%。此外,与待压缩的基线模型相比,具有更少参数量与计算量的浅层分支其性能同样具有优势。以Wide Res Net50为基线模型,所提方法获取的压缩后模型,在计算量下降77.4%和参数量下降91.2%的条件下,在CIFAR100数据集上的准确度提升1.96%。 3)为了验证所提出的两种知识蒸馏算法实际应用效果,开发了模型压缩工具,并在资源受限的计算平台上开展了应用验证。采用Pytorch与Py QT框架开发了一款模型压缩工具,将模型量化算法与所提出的两种知识蒸馏算法进行集成,实现模型的蒸馏训练、量化部署流水线。为了验证所开发的模型压缩工具的实际效果,在面部表情识别领域的RAF-DB数据集上使用模型压缩工具训练Res Net18,实验结果表明由工具导出的轻量化模型以更少的计算量、参数量与更高的性能优势领先于基于Transformers与CNN的面部表情识别算法。具体来说,在不使用量化处理时,所提出的实例相似先验增强的多源知识蒸馏相比于当前最先进的方法,以其30%的计算量和19%的参数量,取得了0.44%的准确度增益。所提出的多样化分支融合的自我知识蒸馏则以当前先进方法32%的计算量和20%的参数量,取得了相同的准确度。使用量化处理后,模型进一步获得了4倍以上的加速比和压缩比,最轻量化的模型运行时间为3.34ms,存储大小仅为1.1MB,在资源受限的CPU计算平台上可以稳定高效地运行。

关键词：深度学习卷积神经网络模型压缩知识蒸馏模型压缩工具

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：