检索结果-内蒙古大学图书馆

您好，读者！请登录

内蒙古大学图书馆

首页
概况
党建
资源
服务
科研支持
- 论文收录引用证明
- 科技查新
知识产权
档案馆
帮助

咨询与建议

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

您的常用邮箱：*

您的手机号码：*

问题描述：

当前已输入0个字，您还可以输入200个字

全部搜索
期刊论文
图书
学位论文
标准
纸本馆藏
外文资源发现
数据库导航
超星发现

高级检索

时间限定

出版年份：

-

文献类型

图书期刊文献学位论文多媒体

馆藏选择

电子馆藏纸本馆藏

核心期刊

全部期刊 SCI 收录期刊 SSCI 收录期刊 EI 收录期刊 CSCD 收录期刊 CSSCI 收录期刊

语言

中文英文

文献类型

期刊文献图书学位论文标准纸本馆藏

帮助

文字说明：

T=题名（书名、题名），A=作者（责任者），K=主题词，P=出版物名称，PU=出版社名称，O=机构（作者单位、学位授予单位、专利申请人），L=中图分类号，C=学科分类号，U=全部字段，Y=年（出版发行年、学位年度、标准发布年）

检索规则说明：

AND代表“并且”；OR代表“或者”；NOT代表“不包含”；(注意必须大写,运算符两边需空一格)

检索范例：

范例一：(K=图书馆学 OR K=情报学) AND A=范并思 AND Y=1982-2016
范例二：P=计算机应用与软件 AND (U=C++ OR U=Basic) NOT K=Visual AND Y=2011-2016

分类表

所选分类

>> <<

限定检索结果

文献类型

1 篇 学位论文

馆藏范围

1 篇 电子文献
0 种 纸本馆藏

日期分布

学科分类号

1 篇 工学
- 1 篇 机械工程
- 1 篇 控制科学与工程
- 1 篇 计算机科学与技术...
- 1 篇 软件工程
1 篇 管理学
- 1 篇 管理科学与工程(可...

主题

1 篇 模型压缩工具
1 篇 知识蒸馏
1 篇 模型压缩
1 篇 深度学习
1 篇 卷积神经网络

机构

1 篇 湖南大学

作者

1 篇 龙祖祥

语言

1 篇 中文

检索条件"主题词=模型压缩工具"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于知识蒸馏的深度学习模型压缩及其应用研究

基于知识蒸馏的深度学习模型压缩及其应用研究

引用

作者：龙祖祥湖南大学

学位级别：硕士

深度学习的兴起不仅带来了新的产业模式,同时也为传统产业注入新的活力,目前已经在众多领域得到广泛应用。深度学习模型依靠深层结构、庞大的参数空间,在海量标注数据下进行训练,在获得模型性能提升的同时,通常也带来了巨大的参数量、... 详细信息

深度学习的兴起不仅带来了新的产业模式,同时也为传统产业注入新的活力,目前已经在众多领域得到广泛应用。深度学习模型依靠深层结构、庞大的参数空间,在海量标注数据下进行训练,在获得模型性能提升的同时,通常也带来了巨大的参数量、计算量,对硬件的存储空间与计算能力提出了更高的要求。然而在实际应用中,由于数据隐私性和处理时效性等原因,模型通常需部署在资源受限的端侧或边缘硬件平台上。对深度学习模型进行压缩以减少其运行时的资源消耗、加快前向推理速度,成为深度学习实际应用的关键环节,因此,深度学习模型压缩具有重要的研究意义和应用价值。知识蒸馏旨在使用复杂教师网络来指导精简学生网络的训练,使学生网络获得更高的性能后进行部署,是目前最先进的一类模型压缩方法。本文以卷积神经网络为压缩对象,开展了知识蒸馏方法及其应用研究,具体的研究内容和创新点如下: 1)针对知识蒸馏中知识传递路径单一与知识挖掘不够充分的难题,提出了一种实例相似先验增强的多源知识蒸馏方法,向学生网络转移两种不同来源的知识,即多级特征知识与先验增强的实例相似性关系知识。首先,为使学生网络可以更全面的学习教师网络的多尺度特征,设计了密集连接的知识传递路径和非局部特征融合模块,后者降低密集连接路径的优化复杂性,提高学生网络深阶段对教师网络浅阶段特征知识的学习效率。然后,分别从教师网络的响应和标签中挖掘实例相似性关系知识,并通过两者的交互进行先验增强,在此基础上提出先验相似性蒸馏方式来传递先验增强的实例相似性关系知识。所提出的实例相似先验增强的多源知识蒸馏将Res Net32x4压缩至Res Net8x4,降低了83.5%的计算量和83.4%的参数量,在CIFAR100数据集上获得了76.60%的准确度,相比于基线模型和当前先进方法准确度分别提升了4.10%和0.71%;将Res Net34压缩至Res Net18,降低了50.5%的计算量和47.4%的参数量,在Image Net数据集上取得了71.31%的准确度,相比于基线模型和当前先进方法准确度分别提升了2.01%和0.28%。 2)针对自我知识蒸馏中浅层知识未利用且各分支提取的知识易同质化的问题,提出了一种多样化分支融合的自我知识蒸馏方法。本文首先揭示了多分支自我知识蒸馏范式中不同分支知识的互补关系,浅层知识对图像准确识别的贡献度超过一半,为了更好的利用浅层知识,本文设计了具备全局-局部注意力的分支从主干网络中提取关键特征,并构建了特征选择融合与动态logits融合两个模块,将不同层级分支的知识进行高效融合,为知识蒸馏提供了更丰富稳健的知识源。由于传统自我知识蒸馏中各分支在同一监督的约束下会趋向同质化,这会导致知识源的性能下降,为此,本文在不同分支之间引入多样性损失函数,鼓励各分支探索具有差异性的知识,以提高了整个网络的性能。所提方法对以Res Net18为骨干网络的卷积神经网络图像分类模型进行压缩,在CIFAR100、Tiny-Imagenet和Image Net三个数据集分别获得了82.65%、60.88%和71.09%的准确度,同样的模型压缩问题上相比于当前先进自我知识蒸馏方法准确度分别提升了0.89%、1.13%和0.92%。此外,与待压缩的基线模型相比,具有更少参数量与计算量的浅层分支其性能同样具有优势。以Wide Res Net50为基线模型,所提方法获取的压缩后模型,在计算量下降77.4%和参数量下降91.2%的条件下,在CIFAR100数据集上的准确度提升1.96%。 3)为了验证所提出的两种知识蒸馏算法实际应用效果,开发了模型压缩工具,并在资源受限的计算平台上开展了应用验证。采用Pytorch与Py QT框架开发了一款模型压缩工具,将模型量化算法与所提出的两种知识蒸馏算法进行集成,实现模型的蒸馏训练、量化部署流水线。为了验证所开发的模型压缩工具的实际效果,在面部表情识别领域的RAF-DB数据集上使用模型压缩工具训练Res Net18,实验结果表明由工具导出的轻量化模型以更少的计算量、参数量与更高的性能优势领先于基于Transformers与CNN的面部表情识别算法。具体来说,在不使用量化处理时,所提出的实例相似先验增强的多源知识蒸馏相比于当前最先进的方法,以其30%的计算量和19%的参数量,取得了0.44%的准确度增益。所提出的多样化分支融合的自我知识蒸馏则以当前先进方法32%的计算量和20%的参数量,取得了相同的准确度。使用量化处理后,模型进一步获得了4倍以上的加速比和压缩比,最轻量化的模型运行时间为3.34ms,存储大小仅为1.1MB,在资源受限的CPU计算平台上可以稳定高效地运行。

关键词：深度学习卷积神经网络模型压缩知识蒸馏模型压缩工具

来源：评论

学校读者我要写书评

暂无评论

没有更多数据了...

共1页 << < 1 > >>

检索报告对象比较合并检索0

隐藏清空

合并搜索

回到顶部

执行限定条件

内容：

评分：

请选择保存的检索档案：

请选择收藏分类：

订阅名称：

通借通还

温馨提示：

图书名称：

借书校区：

取书校区：

手机号码：

邮箱地址：

一卡通帐号：

电话和邮箱必须正确填写，我们会与您联系确认。

联系人：

所在院系：

联系邮箱：

联系电话：

内蒙古自治区呼和浩特市赛罕区大学西街235号邮编: 010021

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：