检索结果-内蒙古大学图书馆

作者：徐嘉荟东南大学

学位级别：硕士

尽管深度神经网络模型的性能出色,但随之而来的是急剧增长的计算力以及存储需求。模型压缩和加速技术研究的开展能够让深度模型更好地适应移动端设备。本文围绕基于模型剪枝的模型压缩和加速技术进行探讨,着力于在有效降低深度网络参数... 详细信息

尽管深度神经网络模型的性能出色,但随之而来的是急剧增长的计算力以及存储需求。模型压缩和加速技术研究的开展能够让深度模型更好地适应移动端设备。本文围绕基于模型剪枝的模型压缩和加速技术进行探讨,着力于在有效降低深度网络参数量的同时保证网络精度不明显下降。本文一方面结合迭代剪枝中的权重绝对值和对应变化量作为重要性判断依据进行剪枝,另一方面将剪枝框架和知识蒸馏结合以获得更好的压缩效果。本文的主要工作总结如下:首先,介绍了模型压缩的主要对象卷积神经网络的基本组成,包括卷积、池化和激活操作的实现过程以及作用,并对正则化方法进行了概述。重点对各种模型压缩和加速方法的基本原理和实现方法进行分析。对基于权重绝对值的剪枝算法进行仿真,从结构化剪枝和非结构化剪枝两个角度展示了在不同剪枝比例下稀疏网络性能的变化情况。其次,在基于权重绝对值的重要性判定准则的基础上,与迭代剪枝中每轮的权重变化量相结合,给出了一种新型的迭代剪枝方法。权重变化量的加入缓解了仅依靠权重绝对值进行裁剪的问题,能够很好地保留下那些在当前时刻权值很小但变化迅速的权重。跟基于权重绝对值的剪枝方法相比,非结构化剪枝下当剪枝比例分别为95%和90%时VGG-16和Res Net-56在CIFAR-10上分别能提升0.18%和0.37%的测试精度,而结构化剪枝的CIFAR-10实验中VGG-16和Res Net-56分别在80%和60%剪枝比例下精度提升了0.69%和0.51%。在此基础上采用渐进式迭代剪枝,即在剪枝的初期剪去更多的参数,但随着剪枝的进行降低每轮剪枝的比例,实验结果表明渐进式迭代剪枝在同等的剪枝比例下比固定比例迭代剪枝获取更高的精度,从而获取更为高效的稀疏模型。再次,根据剪枝的本质在于获取高效的网络结构而不是继承对应的权重,将剪枝框架中的微调步骤换成重新初始化训练,并对结合权重变化量的剪枝方法在CIFAR-10上进行验证。实验结果表明,与微调方案相比,非结构化剪枝中采用重新初始化训练的VGG-16在剪枝比例为95%的情况下能够提升0.02%的精度,而Res Net-56则损失了0.13%的精度。在结构化剪枝实验中,与微调方案相比,采用重新初始化训练的VGG-16和Res Net-56则分别在剪枝比例为90%和80%的情况下提升了0.46%和0.13%的测试精度。最后,在重新初始化训练的剪枝框架下结合知识蒸馏进行训练。剪枝过程中将原始网络当作教师网络,稀疏网络当作学生网络,通过利用教师网络中得到的软目标辅助稀疏网络训练以弥补剪枝造成的精度损失。在CIFAR-10上的验证结果表明,与不采用知识蒸馏的剪枝方法相比,非结构化剪枝中加入知识蒸馏后能够在95%剪枝比例下提升VGG-16和Res Net-56的精度达0.27%和0.83%,而结构化剪枝下提升更明显,VGG-16和Res Net-56分别在90%和80%的剪枝比例下获得了1.4%和1.31%的精度增益。

关键词：深度神经网络模型压缩和加速模型剪枝迭代剪枝知识蒸馏

来源：评论

学校读者我要写书评

暂无评论

基于图像描述算法的离线盲人视觉辅助系统

引用

电信科学 2022年第1期38卷 61-72页

作者：陈悦郭宇谢圆琰米振强北京科技大学计算机与通信工程学院北京100083 北京科技大学顺德研究生院广东佛山528399

针对现有盲人视觉辅助设备存在的不便,探讨了基于模型剪枝的图像描述模型在便携式移动设备上运行的方法。回顾了图像描述模型和剪枝模型技术,重点提出了一种针对图像描述模型的改进剪枝算法。结果表明,在保证准确性的前提下,剪枝后的图... 详细信息

针对现有盲人视觉辅助设备存在的不便,探讨了基于模型剪枝的图像描述模型在便携式移动设备上运行的方法。回顾了图像描述模型和剪枝模型技术,重点提出了一种针对图像描述模型的改进剪枝算法。结果表明,在保证准确性的前提下,剪枝后的图像描述模型可以大幅降低工作时的处理时间和消耗的电源容量,能够随时随地快速准确地对环境信息进行描述及语音播报。

关键词：视觉辅助系统图像描述模型模型压缩和加速模型剪枝算法

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的手势识别、人手检测及模型压缩的研究

基于深度学习的手势识别、人手检测及模型压缩的研究

引用

作者：林汇丰华南理工大学

学位级别：硕士

近年来,人机交互技术一直在不断发展,其中基于手势的人机交互方式是最自然、最直观的方式之一。手势识别和人手检测等技术是这种交互方式的关键,它们一直以来都是计算机视觉领域中的研究热点。尽管这些技术已经得到了广泛的研究,但是它... 详细信息

近年来,人机交互技术一直在不断发展,其中基于手势的人机交互方式是最自然、最直观的方式之一。手势识别和人手检测等技术是这种交互方式的关键,它们一直以来都是计算机视觉领域中的研究热点。尽管这些技术已经得到了广泛的研究,但是它们在实际应用场景中所必然会面临的复杂背景和遮挡等问题仍未得到有效的解决。深度学习是目前手势识别、人手检测等任务的主流解决方法,其在泛化能力、鲁棒性等方面比传统算法有巨大的优势。然而,深度学习模型通常会占用较多的计算资源和内存,不利于其实际应用。针对上述问题,本文主要对基于深度学习的手势识别、人手检测及其模型压缩和加速技术进行了研究。针对静态手势识别中复杂背景的问题,我们提出了一种二阶段的识别方法,其中包含了人手姿态估计算法和人手姿态分类算法。我们使用了卷积姿态机来对人手关键点进行定位,多阶段序列结构和中间监督的引入使其能够在遮挡和复杂背景等情况下也能做出准确的预测。此外,我们还对模糊高斯混合模型做了改进,并将其用于人手姿态分类,根据输入的人手位置特征将其划分到对应的手势类别中。改进后得到的分类器不仅能够准确地对目标手势进行准确的分类,还能够有效地拒绝非目标手势样本。另外,由于手势识别系统的两阶段设计,算法能够很方便地对手势类别进行扩展。在进行手势识别前,通常需要先使用人手检测算法从图片中准确检测出人手区域。为了兼顾检测算法的速度与精度,我们使用了单阶段目标检测网络YOLOv3模型用于人手检测。我们通过使用更优的预训练权重和适当的数据增强方法,有效提高了模型的检测效果,为模型的压缩和加速算法提供了一个较高的基准。为了进一步降低人手检测模型的计算资源消耗和内存占用,我们基于Network Slimming通道剪枝算法对YOLOv3网络进行模型压缩和加速。在训练阶段对BN层的γ参数施加稀疏正则约束,逐渐减少冗余通道的权重,从而实现通道剪枝。针对YOLOv3模型中的残差连接,我们提出了残差剪枝的方法,提高了通道剪枝的灵活性。另外,我们使用了自适应剪枝阈值的方法来确定剪枝通道并且对其对应BN层的β参数进行了处理,大大降低模型剪枝带来的损失。通过将卷积层和BN层进行融合,模型的推断速度进一步提高。最终,模型的体积和推断用时大幅度减少,并且能够保持检测精度几乎不变。

关键词：深度学习手势识别模糊高斯混合模型人手检测模型压缩和加速

来源：评论

学校读者我要写书评

暂无评论

Structured Pruning of Deep Neural Networks Based on Information Entropy and ADMM

Structured Pruning of Deep Neural Networks Based on Informat...

引用

作者： Li Xu 华中师范大学

学位级别：硕士

近数十年来,得益于GPU硬件算力设施的发展进步,许多领域,例如:计算机视觉,生物图像识别，无人驾驶等)凭借着深度神经网络强大性能,取得了瞩目性的性能成就。而提升深度神经网络性能的重要关键点之一就是增加网络模型的深度和宽度,因而... 详细信息

近数十年来,得益于GPU硬件算力设施的发展进步,许多领域,例如:计算机视觉,生物图像识别，无人驾驶等)凭借着深度神经网络强大性能,取得了瞩目性的性能成就。而提升深度神经网络性能的重要关键点之一就是增加网络模型的深度和宽度,因而形成了网络模型参数量大,计算量多,内存耗费要求高等诸多特点。这阻碍了神经网络模型在移动设备上的拓展和使用,当然,这也还催生了模型压缩和加速领域的产生和其中的大量研究工作产出,不少工作也取得了较不错的结果。其中,在模型压缩方向上,主要包含参数剪枝和共享,低秩分解,紧凑的卷积过滤设计和知识蒸馏四类。参数剪枝和共享方法侧重关注移除那些未对模型性能做出贡献的冗余部分;低秩分解方法主要使用张量分解的原理来估计代表原有的信息参数;紧凑的卷积过滤器这类方法尝试设计特殊的卷积结构来代替原有大的卷积过滤器,达到减少所需运算的内存和浮点运算的目的,从而实现模型加速;而对于知识蒸馏这一类方法,其主要是使用一个具备较强学习能力的模型去迁移训练一个较小的紧凑的网络模型,直至得到一个只学习原有引导模型的领域知识的小型网络。四类方法中,除开紧凑的卷积过滤器方法只能用于卷积层,其余方法既可以用于卷积层又可以用于全连接层。实际上,要设计出最优的模型压缩方案需要联结多学科的领域知识,包含但不仅限于软硬件设计,算法优化,参数优化,自动机器学习,强化学习这些方向,因此模型压缩领域还具有很多扩展性的发展空间。最近,经过对模型压缩方向中相关研究工作的调研后,对此文中所提出的算法框架及有关理论背景做出以下简介。·交替方向乘子法(ADMM)算法是一类强大的数学优化技术。由于现代数据集规模和复杂性的爆炸式增长,能够解决带有大量特征或训练示例的问题变得至关重要。这些数据集的分散收集或存储以及随附的分布式解决方法都是必要的,或者至少是非常理想的。而在近些年来,乘法器的交替方向方法非常适用于分布式凸优化难题,尤其适合于统计学,人工智能中的机器学习和其它相关学科中出现的大规模问题。深度神经网络中的模型压缩问题也可以被规约到交替方向算子法可解决的带有组合限制的非凸优化难题。·介绍信息熵之前,非常有必要概述信息论的基本思想,即所传达的消息的“信息价值”取决于消息内容令人惊讶的程度。如果某个事件很可能发生,那么当该事件按预期发生时也就似乎显得不足为奇。因此,此类消息的传输几乎没有新信息。但是,如果事件不太可能发生,则了解该事件已发生或将要发生将提供更多信息。而信息熵作为信息论中最重要的概念,被看作衡量事件所含有信息的平均信息量,和用来表示对信息的量化度量。我们可以认为熵越大,信息的不确定性也越大,那么可以得出的信息也是最多的。·结构化权重剪枝技术作为模型压缩领域中参数剪枝类中极具代表性的方向,凭借着特有的剪枝结构规整的优点,可使被压缩过的模型在现有的框架中实现加速推理,突破了那些依赖于特殊软硬件库的非结构化权重剪枝类方法的局限性,因此结构化剪枝的策略成为了许多学者的研究对象。另外,尽管现有工作也大多取得了较好的模型剪枝率,但是它们都是启发式的,既不能取得最优的压缩效果也缺乏对压缩性能和收敛时间的担保。为了解决上述问题,本文根据已有的部分工作提出了一种基于熵的ADMM结构化权重剪枝算法。ADMM算法优化可以将DNNs模型的权重剪枝问题转化表述为具有组合限制的(基于通道的结构化稀疏)非凸优化问题。通过使用ADMM算法和增强拉格朗日,原来的权重剪枝问题可以转化为两个子问题,第一个子问题可以通过梯度下降来解决,而第二个子问题可以通过分析的方式解决,两种方法在迭代中同时进行。值得注意的是,我们采用信息熵来评估中间输出通道的重要性,并且这种评估方式被穿插在ADMM算法中作为组合限制条件。具体地,如果结合信息熵的理论以及结构化剪枝的策略,可以考虑使用基于熵的结构化剪枝方案,而在结构化剪枝策略中,包含基于过滤器的剪枝,基于通道的剪枝以及基于过滤器形状的剪枝三种策略。过滤器剪枝和通道剪枝两种方法非常相关,即前一层的过滤器剪枝会造成对应输出通道被剪枝掉,而在矩阵的视图角度下,就是基于行和基于列的区别。而基于过滤器形状的剪枝方法相对于前两者方式,剪枝的粒度更细致一点,实现方案也更复杂。综合权衡考虑,本文中采用了基于通道的结构化剪枝方法,表现形式为:利用当前层的输出激活通道,经全局平均池化操作后展开得到熵评估矩阵的一行,其形状可以理解为(1 × c),再通过大小为n的评估集来得到最终的评估矩阵(n× c),接着对评估矩阵按等长区间进行划分并得到对应区间的概率,这样就能计算每个通道的信息熵,最后进行排序和剪枝。而具体的通道剪枝步骤是:通过过滤器与掩码做内积对前一层对应过滤器的相应位置置零,然后做卷积操作。利用熵的特征通道剪枝方案,可以理解为:如果当前特征通道的熵值越小(如,0.00001这类趋

关键词：深度神经网络模型压缩和加速结构化权重剪枝交替方向乘子法信息熵

来源：评论

学校读者我要写书评

暂无评论

基于移动端的高效人脸识别算法

引用

现代计算机 2019年第7期25卷 61-66页

作者：魏彪杨映波曾珍刘龙凤四川大学计算机学院成都610065

随着深度学习的快速发展,深度卷积神经网络已广泛用于人脸识别领域,但深度模型推理的高计算复杂度和大量的参数阻碍人脸识别系统的实际部署。因此提出两种改进算法,一是基于深度特征蒸馏的人脸识别方法,该方法以预训练的大网络为教师网... 详细信息

随着深度学习的快速发展,深度卷积神经网络已广泛用于人脸识别领域,但深度模型推理的高计算复杂度和大量的参数阻碍人脸识别系统的实际部署。因此提出两种改进算法,一是基于深度特征蒸馏的人脸识别方法,该方法以预训练的大网络为教师网络,指导小网络训练,将知识迁移得到轻量级的学生网络,提出新的人脸损失函数。二是对教师网络和学生网络分别添加SENet网络结构,使人脸识别准确率有很大的提升。通过实验验证,学生网络模型大小压缩至3.22M,相比于教师模型压缩4倍,在LFW数据集上准确率达到99.66%。

关键词：深度学习人脸识别模型压缩和加速知识蒸馏

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：