检索结果-内蒙古大学图书馆

软件 2024年第3期45卷 83-86,97页

作者：查秉坤李朋阳陈小柏南京邮电大学计算机学院软件学院网络空间安全学院江苏南京210023

本文针对vision transformer(ViT)模型开展剪枝技术研究,探索了多头自注意力机制中的QKV(Query、Key、Value)权重和全连接层(Fully Connected,FC)权重的剪枝问题。针对ViT模型本文提出了3组剪枝方案:只对QKV剪枝、只对FC剪枝以及对QKV... 详细信息

本文针对vision transformer(ViT)模型开展剪枝技术研究,探索了多头自注意力机制中的QKV(Query、Key、Value)权重和全连接层(Fully Connected,FC)权重的剪枝问题。针对ViT模型本文提出了3组剪枝方案:只对QKV剪枝、只对FC剪枝以及对QKV和FC同时进行剪枝,以探究不同剪枝策略对ViT模型准确率和模型参数压缩率的影响。本文开展的研究工作为深度学习模型的压缩和优化提供了重要参考,对于实际应用中的模型精简和性能优化具有指导意义。

关键词： vision transformer模型剪枝准确率

来源：评论

学校读者我要写书评

暂无评论

基于vision transformer的有学习的侧信道攻击模型

引用

应用数学进展 2023年第4期12卷 1581-1589页

作者：廖杨杰王燚成都信息工程大学网络空间安全学院四川成都

在侧信道攻击中,任何防御对策的目标都是使减弱能量消耗与设备所执行密码算法的中间值的关系。加掩方案就是通过随机化密码设备所处理的中间值来达到这个目标。Sbox乱序方案则通过使密码算法执行过程中的Sbox盒的执行顺序,以达到随机化... 详细信息

在侧信道攻击中,任何防御对策的目标都是使减弱能量消耗与设备所执行密码算法的中间值的关系。加掩方案就是通过随机化密码设备所处理的中间值来达到这个目标。Sbox乱序方案则通过使密码算法执行过程中的Sbox盒的执行顺序,以达到随机化各中间值所对应能量泄露时刻。针对这两类防御对策,目前基于有学习的侧信道攻击模型一般使用多层感知器、卷积神经网络和循环神经网络。本文基于计算机视觉领域的vision transformer (ViT)模型提出一种有学习的攻击模型VITSCA。VITSCA模型主要针对自注意机制做了微调,通过引入一个权重向量对输入的样本权重进行记录而非使用查询向量和键值对组合,更有利于攻击模型从大量的能迹样本中筛选出更有用的信息进行攻击。VITSCA模型能减少模型训练的时间以及提高模型的精确度,能有效对经过加掩方案和Sbox乱序的数据集进行攻击。本文引言部分过于简单,缺少对现有文献的综述和分析,同时也未对本文创新性和研究内容进行总结,议广泛阅读文献,对该研究领域的研究现状进行系统综述。

关键词： vision transformer模型自注意力机制 Sbox乱序加掩方案

来源：评论

学校读者我要写书评

暂无评论

基于暗光增强和细粒度特征提取的行人重识别

引用

陕西理工大学学报(自然科学版) 2025年第2期41卷 81-90页

作者：杨靖谷灵康夏周祥安徽工程大学计算机与信息学院安徽芜湖241000

针对现实环境中由于光照变化和色差等因素导致的行人重识别准确率低的问题,设计了基于暗光增强和细粒度特征提取的行人重识别模型。首先利用暗光增强模块对输入的行人图像进行图像增强,优化图像信息,之后将图像输入改进后的vision Trans... 详细信息

针对现实环境中由于光照变化和色差等因素导致的行人重识别准确率低的问题,设计了基于暗光增强和细粒度特征提取的行人重识别模型。首先利用暗光增强模块对输入的行人图像进行图像增强,优化图像信息,之后将图像输入改进后的vision transformer模型,该模型引入条件位置编码和拼图补丁促使网络关注行人图像的细粒度特征信息,增强对行人特征的提取能力。最后设计出DAD-T模块减少模型复杂度,缓解性能下降的问题。以此在性能无损的情况下提高训练效率,加快训练速度。在DukeMTMC-ReID、MSMT17和Market-1501三个行人重识别公开数据集上进行实验,并与主流网络模型进行比较。结果表明,所提模型的Rank-1与mAP指标相比当前主流模型有所提升,具有较高的识别准确率。

关键词：暗光增强细粒度 vision transformer模型行人重识别

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的青梅品质智能分选技术与装备研究

引用

农业机械学报 2022年第11期53卷 402-411页

作者：张晓庄子龙刘英王旭南京林业大学机械电子工程学院南京210037 农业农村部南京农业机械化研究所南京210014

青梅内外品质对其精深加工过程有重要影响,常规人工分选不仅分级效率较低,且受个人主观因素影响难以实现标准化作业,不能满足市场需求。以深度学习技术为基础,在青梅外表缺陷分类方面,将vision transformer网络模型应用到机器视觉系统中... 详细信息

青梅内外品质对其精深加工过程有重要影响,常规人工分选不仅分级效率较低,且受个人主观因素影响难以实现标准化作业,不能满足市场需求。以深度学习技术为基础,在青梅外表缺陷分类方面,将vision transformer网络模型应用到机器视觉系统中,引入多头注意力机制,提升全局特征表示能力,并通过softmax函数减少梯度,实现青梅表面的多类(腐烂、裂纹、疤痕、雨斑、完好5类)检测分选,结果表明其平均判别准确率达到99.16%,其中腐烂、疤痕、裂纹以及完好青梅图像的判别准确率达到100%、雨斑达到97.38%,每组平均测试时间为100.59 ms;该网络的各类判别准确率、平均判别准确率均明显优于VGG网络、ResNet-18网络。青梅内部品质(SSC)预测方面,基于高光谱成像技术,结合低秩张量恢复(LRTR)的去噪优势和堆叠卷积自动编码器(SCAE)的降维优势,构建了LRTR-SCAE-PLSR青梅糖度预测模型。结果表明网络规模为119-90-55-36时,模型预测集相关系数为0.965 4,均方根误差为0.582 7%,表现最佳;通过SCAE、LRTR-SCAE两种降维模型对比,LRTR-SCAE模型不仅维度更低,预测集相关系数也明显提高,验证了LRTR-SCAE模型的降维去噪优势。设计并搭建了可用于青梅内外品质无损分选的智能装备,整机尺寸小,结构简单,分选结果满足青梅精深加工需求。

关键词：青梅智能分选装备可溶性固形物 vision transformer模型低秩张量恢复

来源：评论

学校读者我要写书评

暂无评论

一种基于深度学习的SAR城市建筑区域叠掩精确检测方法

引用

雷达学报（中英文） 2023年第2期12卷 441-455页

作者：田野丁赤飚张福博石民安中国科学院空天信息创新研究院微波成像技术国家级重点实验室北京100190 中国科学院空天信息创新研究院北京100190 中国科学院大学电子电气与通信工程学院北京100049

建筑物叠掩检测在城市三维合成孔径雷达(3D SAR)成像流程中是至关重要的步骤,其不仅影响成像效率,还直接影响最终成像的质量。目前,用于建筑物叠掩检测的算法往往难以提取远距离全局空间特征,也未能充分挖掘多通道SAR数据中关于叠掩的... 详细信息

建筑物叠掩检测在城市三维合成孔径雷达(3D SAR)成像流程中是至关重要的步骤,其不仅影响成像效率,还直接影响最终成像的质量。目前,用于建筑物叠掩检测的算法往往难以提取远距离全局空间特征,也未能充分挖掘多通道SAR数据中关于叠掩的丰富特征信息,导致现有叠掩检测算法的精确度无法满足城市3D SAR成像的要求。为此,该文结合vision transformer (ViT)模型和卷积神经网络(CNN)的优点,提出了一种基于深度学习的SAR城市建筑区域叠掩精确检测方法。ViT模型能够通过自注意力机制有效提取全局特征和远距离特征,同时CNN有着很强的局部特征提取能力。此外,该文所提方法还基于专家知识增加了用于挖掘通道间叠掩特征和干涉相位叠掩特征的模块,提高算法的准确率与鲁棒性,同时也能够有效地减轻模型在小样本数据集上的训练压力。最后在该文构建的机载阵列SAR数据集上测试,实验结果表明,该文所提算法检测准确率达到94%以上,显著高于其他叠掩检测算法。

关键词：深度学习专家知识 3D SAR成像建筑区域叠掩检测 vision transformer模型

来源：评论

学校读者我要写书评

暂无评论

融合一维Inception结构与ViT的恶意加密流量检测

引用

计算机工程 2023年第1期49卷 154-162页

作者：孙懿高见顾益军中国人民公安大学信息网络安全学院北京100038 安全防范与风险评估公安部重点实验室北京102623

在互联网加密化背景下,传统恶意流量检测方法在加密流量上的特征区分度较差,为更好地从加密流量中检测出恶意流量,设计一个融合一维Inception-ViT的恶意加密流量检测模型。基于流量数据的时序性特点,通过一维Inception结构对GoogLeNet中... 详细信息

在互联网加密化背景下,传统恶意流量检测方法在加密流量上的特征区分度较差,为更好地从加密流量中检测出恶意流量,设计一个融合一维Inception-ViT的恶意加密流量检测模型。基于流量数据的时序性特点,通过一维Inception结构对GoogLeNet中的Inception结构进行改进,使用适用于序列数据的一维卷积替换二维卷积,并添加池化操作去除一些冗余信息的干扰。同时,融合ViT模型,将经过一维Inception结构处理后的数据输入到ViT模型中,利用多头注意力突出重要特征,增强特征区分度以提升模型检测结果。为验证一维Inception-ViT模型各模块的有效性,与6种变体模型进行对比,实验结果表明,一维Inception-ViT模型性能最好,平均召回率和平均F1值指标分别达到了99.42%和99.39%。此外,与其他8种现有模型进行比较,一维Inception-ViT模型具有更好的检测效果,同时在恶意加密流量Neris和Virut细粒度分类上,与性能最好的基准模型相比,一维Inception-ViT模型能够有效减少样本检测混淆,可更准确地对恶意加密流量进行识别。

关键词：加密流量恶意加密流量检测多分类卷积神经网络 vision transformer模型

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的骨髓细胞图像分类研究

引用

基因组学与应用生物学 2024年第11期43卷 1872-1882页

作者：王海宝刘红岩魏志周省邦龙子晴元绍钰尹森炎张克智高恩双南宁师范大学物理与电子学院广西信息功能材料与智能信息处理重点实验室南宁530100 山东省第二人民医院消化内科济南250023 南宁师范大学环境与生命科学学院南宁530100

当前,造血系统疾病的诊治面临着诸多挑战,其中对骨髓细胞形态与数量的精确分析是实现准确诊断的关键环节。传统的检查手段主要依赖于人工操作,效率和精度受到制约,难以满足现代医疗诊断的严苛要求。针对骨髓细胞图像分类的挑战,本研究... 详细信息

当前,造血系统疾病的诊治面临着诸多挑战,其中对骨髓细胞形态与数量的精确分析是实现准确诊断的关键环节。传统的检查手段主要依赖于人工操作,效率和精度受到制约,难以满足现代医疗诊断的严苛要求。针对骨髓细胞图像分类的挑战,本研究利用深度学习技术,优选了vision transformer(ViT)作为基础模型,对其分类进行深入研究。为进一步优化模型的分类性能,创新设计了一个基于卷积的Input Embedding模块。该模块巧妙地结合了卷积神经网络的优势和注意力机制的长处,从而更有效地捕捉和编码骨髓细胞图像中的关键特征。通过融合Input Embedding模块,改进后的模型(Rc-ViT)在处理各种骨髓细胞图像时展现出了更高的精确性。实验结果表明,与原ViT模型相比,Rc-ViT的准确率提升了0.0249,性能显著增强。特别是在处理数据量较少的细胞类别时,精确率和召回率分别提升了0.0360和0.1500,不仅验证了该方法在增强模型对少数类别细胞识别上的有效性,而且减少了数据量不足对特征学习的影响。此外,该模型在细胞分类的准确性和一致性方面也取得了显著进步,为医疗诊断的可靠性和重复性提供了有力支持。

关键词：深度学习骨髓细胞图像 vision transformer模型注意力机制

来源：评论

学校读者我要写书评

暂无评论

基于对抗样本的深度学习模型鲁棒性研究

基于对抗样本的深度学习模型鲁棒性研究

引用

作者：闫嘉乐贵州师范大学

学位级别：硕士

深度神经网络作为人工智能的核心技术在广泛应用中大放异彩,它不仅在许多任务中取得了良好的性能,甚至在某些领域比人类的处理能力更出色,但研究表明,深度神经网络很容易受到对抗样本的攻击,从而导致模型出错,这给深度神经网络在安全敏... 详细信息

深度神经网络作为人工智能的核心技术在广泛应用中大放异彩,它不仅在许多任务中取得了良好的性能,甚至在某些领域比人类的处理能力更出色,但研究表明,深度神经网络很容易受到对抗样本的攻击,从而导致模型出错,这给深度神经网络在安全敏感系统中的使用带来了巨大的挑战,因此,在对抗的环境下,构建安全、可靠的深度学习系统势在必行。在图像分类领域卷积神经网络模型对抗样本的防御方面,学者们公认的相对有效的防御方法是对抗训练,但是研究发现,对抗训练相比标准训练存在鲁棒泛化差距大和鲁棒过拟合的问题,因此如何解决这些问题是进一步提升对抗训练防御对抗鲁棒性的关键途径。近来研究人员受自然语言处理领域transformer模型成功的启发,提出了图像分类模型vision transformer（Vi T）。Vi T模型最新研究表明,虽然Vi T模型具有强大的学习能力和先进的性能表现,但是模型容易受到对抗样本的攻击导致模型的性能严重下降,现有的Vi T模型的研究侧重于正常样本的分类准确率,缺乏针对对抗样本鲁棒性的研究,因此在对抗环境下Vi T模型的安全性值得深入的研究和探索。为了解决对抗训练防御鲁棒泛化差距大和鲁棒过拟合的问题以及Vi T模型缺乏针对对抗样本鲁棒性的研究,本文从以下两方面展开研究并尝试提出具体解决方法:（1）针对图像分类领域卷积神经网络模型对抗训练（Adversarial Training,AT）防御鲁棒泛化差距大和鲁棒过拟合问题,本文提出了AT-AMP（Adversarial Training-Adversarial Model Perturbation）算法,该方法将平滑卷积神经网络模型权重损失的策略引入到对抗训练机制中,使得模型的优化更容易收敛到平坦的局部极小值,该方法在很大程度上缓解了对抗训练的鲁棒泛化差距大和鲁棒过拟合问题。实验结果表明,所提出的AT-AMP算法在SVHN、CIFAR-10和CIFAR-100三个图像数据集,L2和L?两种威胁模型,多种对抗训练框架的变体以及不同的白盒和黑盒对抗攻击下,一致地提升了模型的防御效果。此外,本文比较了所提出的AT-AMP算法和两种经典的正则化技术以及两种数据增强技术对于改善对抗训练鲁棒泛化差距大和鲁棒过拟合的效果,实验结果表明所提出的AT-AMP算法相较正则化技术和数据增强技术均取得了最先进的效果。（2）针对图像分类领域的Vi T模型缺乏对抗样本鲁棒性的研究,本文提出一种对抗鲁棒的Vi T模型架构Locality in vision transformer（Li VT）,该模型的主要设计思路是,Vi T模型的主体结构使用TNT（transformer i N transformer）架构,为了弥补经典Vi T模型的前馈网络FFN（Feedforward Network）模块难以有效地捕捉图像的局部依赖关系,本文将具有局部归纳偏置的深度可分离卷积模块集成到Vi T模型的前馈网络FFN模块中,使得模型可以捕捉图像的局部依赖关系,学习到更加鲁棒的分类特征,从而增强模型的对抗鲁棒性。本文所提出的Li VT模型在GTSRB、CIFAR-10和CIFAR-100三个图像数据集上进行实验,Li VT模型相较其它Vi T模型变体在正常图像和对抗样本上均取得了最好的实验结果,从而验证了所提出模型架构的有效性。

关键词：深度学习对抗样本防御对抗训练卷积神经网络模型 vision transformer模型

来源：评论

学校读者我要写书评

暂无评论

基于vision transformer和迁移学习的家庭领域哭声识别

引用

智能计算机与应用 2024年第6期14卷 119-126页

作者：王汝旭王荣燕曾科杨传德刘超德州学院计算机与信息学院山东德州253023

针对SVM等传统机器学习算法准确率低和当前使用CNN处理家庭领域哭声识别在不同婴儿间出现泛化能力差的问题,提出了一种基于vision transformer和迁移学习的婴儿哭声音频分类算法。首先,为实现数据集样本的扩增,采用了包括梅尔频谱转换... 详细信息

针对SVM等传统机器学习算法准确率低和当前使用CNN处理家庭领域哭声识别在不同婴儿间出现泛化能力差的问题,提出了一种基于vision transformer和迁移学习的婴儿哭声音频分类算法。首先,为实现数据集样本的扩增,采用了包括梅尔频谱转换和数据增强的数据预处理技术,进而达到了增强模型鲁棒性的目的。而后,在微调后的vision transformer模型上进行迁移学习训练,同时,训练过程中利用了LookAhead优化器来不断调整模型参数以避免过拟合,最终实验实现了对婴儿哭声音频的自动分类。实验结果表明,本实验模型相比其他深度学习模型具有更高的精确率和更快的收敛速度,同时还能有效地学习到婴儿哭声中更具区分性的特征。可以在新生儿监护、听力筛查和异常检测等领域中发挥重要作用。

关键词： vision transformer模型婴儿哭声迁移学习梅尔频谱图 LookAhead

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：