检索结果-内蒙古大学图书馆

软件学报 2020年第9期31卷 2627-2653页

作者：葛道辉李洪升张亮刘如意沈沛意苗启广西安市大数据与视觉智能关键技术重点实验室(西安电子科技大学) 陕西西安710071 嵌入式技术与视觉处理研究中心(西安电子科技大学) 陕西西安710071 陕西省区块链与安全计算重点实验室(西安电子科技大学) 陕西西安710071 上海宽带技术及应用工程研究中心上海200436

深度神经网络已经被证明可以有效地解决图像、自然语言等不同领域的问题.同时,伴随着移动互联网技术的不断发展,便携式设备得到了迅速的普及,用户提出了越来越多的需求.因此,如何设计高效、高性能的轻量级神经网络,是解决问题的关键.详... 详细信息

深度神经网络已经被证明可以有效地解决图像、自然语言等不同领域的问题.同时,伴随着移动互联网技术的不断发展,便携式设备得到了迅速的普及,用户提出了越来越多的需求.因此,如何设计高效、高性能的轻量级神经网络,是解决问题的关键.详细阐述了3种构建轻量级神经网络的方法,分别是人工设计轻量级神经网络、神经网络模型压缩算法和基于神经网络架构搜索的自动化神经网络架构设计;同时,简要总结和分析了每种方法的特点,并重点介绍了典型的构建轻量级神经网络的算法;最后,总结现有的方法,并给出了未来发展的前景.

关键词：轻量级神经网络便携式设备神经网络模型压缩神经网络架构搜索自动机器学习

来源：评论

学校读者我要写书评

暂无评论

基于感受野准则神经网络分层阈值剪枝方法

基于感受野准则神经网络分层阈值剪枝方法

引用

作者：何志强浙江科技学院

学位级别：硕士

大数据时代带来了丰富的海量数据,其中就包括了图像视频数据信息。由于图像视频数据量爆炸式的增长,其数据的复杂度呈现指数上升趋势,使用传统的统计方法很难进行高效的处理。后来神经网络因为其强泛化性和扩展性脱颖而出。并且神经网... 详细信息

大数据时代带来了丰富的海量数据,其中就包括了图像视频数据信息。由于图像视频数据量爆炸式的增长,其数据的复杂度呈现指数上升趋势,使用传统的统计方法很难进行高效的处理。后来神经网络因为其强泛化性和扩展性脱颖而出。并且神经网络经过几年的研究发展,已经被广泛地使用到了图像分类、目标检查、语义分割等任务当中。神经网络的强大之处在于神经网络具有极强得扩展性,既可以任意从宽度和深度去堆叠神经网络,并且具有各种变体形式。然而随着神经网络规模日益增大,深度不断加深,模型复杂度日渐上升,其参数量与运算量也在急剧地增加,这就导致了神经网络的存储和应用都受到了限制。为了解决这个问题,神经网络压缩应运而生,神经网络压缩具体可以分为量化,蒸馏,剪枝等。其目的都是去减少神经网络的参数量和运算量。本文主要对神经网络模型压缩中的剪枝方向展开研究,本文的主要工作和成果如下: 1.针对如何去衡量过滤器的重要性,本文提出了一个基于特征区分的过滤器重要性准则,既感受野准则(RFC)。它将代表感受野的最大激活响应转化为概率,然后站在特征区分的新角度,通过这些概率的分布来衡量过滤器的重要性。我们在CIFAR-10和CIFAR-100上进行了丰富的消融实验和对比实验,可以得出感受野准则可以更好地去挑选出重要与不重要的过滤器,从而更好地引导剪枝。 2.针对RFC准则使用全局阈值剪枝会存在的问题,我们提出了一种新的分层阈值剪枝方法。本文首先研究了全局阈值剪枝中跨层比较过滤器的局限性。然后针对局限性,分层阈值剪枝方法每一次先去判断出哪些层比较冗余,然后仅在冗余的层中剪枝掉RFC认为不重要的过滤器。最后迭代的进行达到我们的目标网络结构。这样做可以避免去比较不同层的过滤器重要性。从而达到一个分层的效果。最后基于RFC的分层阈值剪枝(HTRFC)在ISLVRC-2012数据集上Res Net50减少了54%的浮点运算量,而与基准模型相比精确度仅下降了0.32%。本文主要在衡量过滤器的重要性和剪枝方法两个方面进行了创新。针对衡量过滤器重要性提出了感受野准则,针对剪枝方法提出了区分层剪枝方法。如今剪枝算法多基于分类任务提出,然后迁移到目标检查、图像分割等任务中去。而很少有工作针对目标检查、图像分割等任务的特性去提出剪枝算法。所以,在未来我们将针对目标检查、图像分割等任务特殊性去提出更为有效的剪枝方法。

关键词：计算机视觉神经网络模型压缩神经网络模型剪枝感受野准则分层阈值剪枝

来源：评论

学校读者我要写书评

暂无评论

LSTM硬件加速器的运算单元优化

LSTM硬件加速器的运算单元优化

引用

作者：查羿南京大学

学位级别：硕士

近几年,随着计算机算力的提升,和互联网时代产生的大量训练数据,机器学习技术(特别是深度学习)在越来越多的智能领域取得了突破性的进展。LSTM作为RNN的变体网络结构,其解决了RNN在反向传播中的梯度爆炸和梯度消失的问题,因而在自然语... 详细信息

近几年,随着计算机算力的提升,和互联网时代产生的大量训练数据,机器学习技术(特别是深度学习)在越来越多的智能领域取得了突破性的进展。LSTM作为RNN的变体网络结构,其解决了RNN在反向传播中的梯度爆炸和梯度消失的问题,因而在自然语言处理等领域大受欢迎。然而,在实际工程应用实践中,却面临着诸多问题。传统的计算平台无法承载LSTM如此大的数据计算量。以及,在嵌入式应用中,特别是自动驾驶等时延性要求极高的领域,LSTM模型本身由于其巨大的参数量,以及海量的训练数据和推断测试数据,导致在训练模型和模型推断中,不仅计算复杂度高,且计算平台的功耗也非常大。因而,本文针对上述问题,研究如何在FPGA上实现对压缩后的LSTM模型进行硬件计算的加速,并对于压缩后的稀疏网络进行重新部署,以解决其PE计算单元的不均衡问题,并对非线性函数运算进行了优化。首先,本文充分地调研了国内外LSTM硬件加速器的研究现状,分析并归类了其中的创新点和取得的进展。并指出了本文的研究重点:对其中的PE运算单元进行加速和优化。其次,针对前人研究的稀疏神经网络模型,进行定制化的硬件设计,包括软件层面的参数分布次序的调整,以及设计了可配置的适用于稀疏数据相乘的硬件运算单元,充分挖掘了参数的稀疏性,以节省运算时间和性能功耗。然后,搭建FPGA原型验证平台,在PC主机端生成激励数据,由GPU训练产生权重数据,再根据其阈值对权重进行剪枝,生成稀疏的权重数据。通过网口将参数和激励数据传输至FPGA开发板,编写硬件逻辑代码进行仿真测试,并与matlab软件模型的结果比对准确性。分析该硬件加速器的资源消耗情况,功耗情况等性能指标。结果显示,本设计的运算单元模块,相较于ESE,CPU和GPU等硬件平台均实现了性能和功耗上的提升。比起CPU,实现了25.09倍的加速比,且功耗仅为其18%。在能效比方面,分别是GPU的64.19倍,ESE的4.76倍。另外,在matlab中生成多组不同稀疏度的矩阵,分别将其作为实验测试对象,从而比较不同稀疏度的权重矩阵运算性能,结果表明,本文的改进方法最适用于稀疏度为48%左右的矩阵,对于维度为1024*153的测试矩阵,系统时钟100MHZ,其运算时间可以提升665ns。

关键词： LSTM 神经网络模型压缩稀疏神经网络硬件加速负载均衡

来源：评论

学校读者我要写书评

暂无评论

图像分类任务中卷积神经网络结构设计方法研究

图像分类任务中卷积神经网络结构设计方法研究

引用

作者：宋婷婷青岛大学

学位级别：硕士

近年来,图像分类和识别技术越来越多地应用于医学影像诊断、公共场所安保和无人驾驶等领域,在某些方面的分类准确率已经超过了人类专家。相比传统图像分类方法,卷积神经网络在图像分类任务中有着出色的表现。为了追求更高的分类准确率,... 详细信息

近年来,图像分类和识别技术越来越多地应用于医学影像诊断、公共场所安保和无人驾驶等领域,在某些方面的分类准确率已经超过了人类专家。相比传统图像分类方法,卷积神经网络在图像分类任务中有着出色的表现。为了追求更高的分类准确率,研究人员不断加深、加宽并优化神经网络的结构,提出新的参数更新方法。在现实世界中,一些实际应用所搭载的平台为移动设备等一些存储空间和计算能力有限的设备,因此参数量和计算量小的神经网络在工程上更为可行。本文以图像分类任务为背景,对卷积神经网络的结构设计进行研究,主要工作如下:(1)针对最大池化丢失“有用”信息的问题,提出全采样方法和基于L1范数的降采样方法。全采样方法利用所有输入,基于L1范数的方法把输入数据划分为不重叠的2?2?d(高?宽?深)的张量(多维数组)。对于每个2?2?d的张量,抽取其中相同位置的1?1?d的张量组成一个新的张量,共得到4个新的张量。从这4个张量中选择L1范数最大的k(k=1,2,3)个张量,在通道维度上拼接起来,实现降采样。为验证所提方法有效性,在CIFAR-10数据集和MNIST数据集上分别进行实验,结果表明,相比最大池化,所提方法可以在参数量不增加的前提下提高分类准确率。(2)针对参数量大的神经网络工程上不便应用的问题,本文对基于结构设计的模型压缩方法进行了研究,分析了通道维度分别卷积(depthwise seperable convolution)、分组卷积(group convolution)、使用1?1卷积核替代3?3卷积核的模型压缩效率,并且介绍了与分组卷积相关的分组洗牌(group shuffle)技术。对全采样方法和基于L1范数的降采样方法构建的卷积神经网络进行了模型压缩。在实际选择时,可以根据实际情况对参数量和分类准确率二者进行权衡。

关键词：卷积神经网络图像分类神经网络模型压缩

来源：评论

学校读者我要写书评

暂无评论

基于语音文本多模态模型的语音助手拒识技术研究

基于语音文本多模态模型的语音助手拒识技术研究

引用

作者：夏闻添哈尔滨工业大学

学位级别：硕士

语音助手拒识技术是一种用于处理语音信号输入的技术,它能够在语音助手处于持续聆听状态时,对于用户主动的指令性输入,语音助手要给出及时的反馈;对于非用户的主动输入要进行拒绝识别,保持语音助手静默状态,不予反馈。本研究旨在提高语... 详细信息

语音助手拒识技术是一种用于处理语音信号输入的技术,它能够在语音助手处于持续聆听状态时,对于用户主动的指令性输入,语音助手要给出及时的反馈;对于非用户的主动输入要进行拒绝识别,保持语音助手静默状态,不予反馈。本研究旨在提高语音助手拒识技术的性能和实用性,采用了多模态模型融合的方法。首先,本文采用基于Transformers编码器的自监督音频预训练模型Wav2Vec2进行音频特征编码,并使用双向编码器表示技术BERT进行文本编码。为了进一步提高模型性能,本文使用微调预训练模型和线性分类方法进行模态融合。实验结果表明,该方法可以有效提高语音助手的拒识性能。接着,本文提出了两种新的模态融合方法。第一种方法是使用交叉注意力机制进行模态融合。这种方法通过计算不同输入序列之间的注意力权重,进一步融合多模态信息。实验结果表明,这种方法可以显著提高小模型的性能。第二种方法是引入可训练信息交换参数,控制模态信息的交换和约束。这种方法可以更好地融合两种模态的信息,并提高模型的性能。最后,本文使用蒸馏等方式压缩模型,减少参数数量和计算复杂度,提高模型的实时性能和可用性。同时使用传统的音频预编码提高编码效率。实验结果表明,多模态蒸馏方法可以显著减少模型的参数数量和计算复杂度,同时保持模型的准确性。综合实验结果表明,多模态模型融合方法可以显著提高语音助手拒识技术的性能和实用性。在模态融合方面,交叉注意力和引入可训练信息交换参数的方法可以进一步提高模型性能。此外,蒸馏技术可以减少模型的参数数量和计算复杂度,提高模型的实时性能和可用性。本研究对于语音助手拒识技术的研究具有一定的参考价值。

关键词：语音助手拒识多模态融合双塔模型交叉注意力机制神经网络模型压缩

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：