检索结果-内蒙古大学图书馆

数据挖掘 2018年第4期8卷 186-200页

作者：冯宇旭李裕梅北京工商大学理学院北京

深度学习作为现今机器学习领域中的重要的技术手段,在图像识别、机器翻译、自然语言处理等领域都已经很成熟,并获得了很好的成果。文中针对深度学习模型优化器的发展进行了梳理,介绍了常用的梯度下降、动量的梯度下降、Adagrad、RMSProp... 详细信息

深度学习作为现今机器学习领域中的重要的技术手段,在图像识别、机器翻译、自然语言处理等领域都已经很成熟,并获得了很好的成果。文中针对深度学习模型优化器的发展进行了梳理,介绍了常用的梯度下降、动量的梯度下降、Adagrad、RMSProp、Adadelta、Adam、Nadam、ANGD等优化方法,也对学习率的衰减方式有分段常数衰减、多项式衰减、指数衰减、自然指数衰减、余弦衰减、线性余弦衰减、噪声线性余弦衰减等方法进行了总结,对深度学习现阶段存在的问题以及对未来的发展趋势进行了阐述,为入门深度学习的研究者提供了较为完整的最优化学习材料以及文献支持。

关键词：深度学习优化器梯度下降 Adagrad RMSProp Adadelta Adam 学习率衰减

来源：评论

学校读者我要写书评

暂无评论

基于卷积神经网络的MNIST手写数字识别优化研究

引用

计算机应用文摘 2025年第3期41卷 81-83,86页

作者：牟世桂吉林农业大学长春130118

文章旨在优化基于卷积神经网络的MNIST手写数字识别,通过引入残差连接、Dropout层、Batch Normalization层,以及优化算法与学习率调度器来提升模型性能。这些技术的综合应用旨在提高模型在数字识别任务中的精确度。其中,首先采用基于Res... 详细信息

文章旨在优化基于卷积神经网络的MNIST手写数字识别,通过引入残差连接、Dropout层、Batch Normalization层,以及优化算法与学习率调度器来提升模型性能。这些技术的综合应用旨在提高模型在数字识别任务中的精确度。其中,首先采用基于ResNet结构的卷积神经网络,结合Dropout层、Batch Normalization层和残差连接来构建模型。其次,使用SGD优化算法配合学习率调度器和数据增强技术对模型进行训练和优化。研究结果表明,该模型在MNIST测试集上达到了99.5%的准确率,相比传统方法有了显著提升。这些成果不仅在提升数字识别的准确度上取得了显著进展,还证明了在实际应用中综合考虑优化算法、数据增强技术以及网络结构调整对于提升模型性能的重要性,对于推动图像识别技术的发展具有重要的应用价值和实际意义。

关键词： MNIST CNN ResNet 模型优化 Dropout 学习率衰减

来源：评论

学校读者我要写书评

暂无评论

针对深度伪造的对抗攻击算法动态APGD设计

引用

计算机工程与应用 2022年第24期58卷 97-106页

作者：裘昊轩杜彦辉芦天亮中国人民公安大学信息网络安全学院北京100038

为了防范利用深度伪造模型伪造图片,提出了一种改进的对抗样本生成算法即动态APGD(dynamic APGD,DAPGD),通过制作对抗样本替代原始图片,使深伪模型的输出产生明显失真,从而无法有效地生成伪造图片。DAPGD使用自适应衰减学习率的思路,能... 详细信息

为了防范利用深度伪造模型伪造图片,提出了一种改进的对抗样本生成算法即动态APGD(dynamic APGD,DAPGD),通过制作对抗样本替代原始图片,使深伪模型的输出产生明显失真,从而无法有效地生成伪造图片。DAPGD使用自适应衰减学习率的思路,能加快算法收敛速度,提升收敛时对抗样本的质量;同时针对APGD容易错过最佳衰减学习率时机的问题,动态地设置用于衰减学习率的检查点,能更彻底地发挥学习率衰减的作用。由于深伪模型使用随机参数导致损失函数不稳定,取消了APGD的局部早停机制,提升算法的效果与速度。针对三个主流深度伪造模型进行DAPGD攻击实验,并与原算法及其他算法进行对比,结果表明,DAPGD生成的对抗样本在输出失真大小、攻击成功比例两个指标上均能取得更好的效果,能更有效地干扰深伪模型伪造图片。

关键词：深度伪造对抗样本学习率衰减动态检查点早停

来源：评论

学校读者我要写书评

暂无评论

一种改进ADAM-CNN模型的钢筋混凝土腐蚀检测方法

引用

中国测试 2023年第2期49卷 8-14页

作者：林旭梅胡川朱广辉陈一戈苗芳荣青岛理工大学信息与控制工程学院山东青岛266520

针对钢筋混凝土腐蚀检测中单一传感器或检测方式获取锈蚀特征信息不足及准确率不高等问题,提出一种改进神经网络模型结构下对集成阳极梯、应变力、温度传感器的多传感器数据融合检测方式。首先将一维多传感器数据二维化,采用卷积核对特... 详细信息

针对钢筋混凝土腐蚀检测中单一传感器或检测方式获取锈蚀特征信息不足及准确率不高等问题,提出一种改进神经网络模型结构下对集成阳极梯、应变力、温度传感器的多传感器数据融合检测方式。首先将一维多传感器数据二维化,采用卷积核对特征信息滤波提取,提取后的信息平展后连接BP残差神经网络层,增强浅层低非线性度特征信息向深层网络的直接传递和重复利用,提高网络模型的拟合及泛化能力。针对ADAM优化算法在模型训练后期学习率可能震荡不收敛问题,引入分段学习率衰减策略抑制后期震荡,同时对二阶矩估计梯度变化进行调整,提高迭代收敛效率。仿真结果表明,改进后的ADAM-CNN算法模型具有更好的分类性能,在钢筋腐蚀样本测试集上的平均准确率为96.2%。

关键词：钢筋混凝土腐蚀检测多传感器检测残差神经网络 ADAM算法学习率衰减

来源：评论

学校读者我要写书评

暂无评论

基于滤波器组和残差网络的环境声音识别算法

引用

计算机工程与设计 2023年第6期44卷 1736-1742页

作者：刘亚荣于顼顼谢晓兰桂林理工大学广西嵌入式技术与智能系统重点实验室广西桂林541006 桂林理工大学信息科学与工程学院广西桂林541006

为解决现有传统环境声音识别技术识别率不高和普通卷积神经网络易出现网络退化的问题,提出一种基于滤波器组和残差网络的环境声音识别算法。采用滤波器组对声音信号进行特征提取,设计14层的残差网络,使用学习率衰减策略,将提取的特征输... 详细信息

为解决现有传统环境声音识别技术识别率不高和普通卷积神经网络易出现网络退化的问题,提出一种基于滤波器组和残差网络的环境声音识别算法。采用滤波器组对声音信号进行特征提取,设计14层的残差网络,使用学习率衰减策略,将提取的特征输入到14层残差网络之中训练并测试。实验结果表明,在使用相同数据集ESC-10的情况下,与传统分类器模型和DCASE基线系统提供的识别方法相比,识别准确率分别提高了22.3%、17.4%和9.5%,验证了该方法在小样本情况下具有更高的识别准确率。

关键词：网络退化滤波器组残差网络环境声音识别特征提取学习率衰减分类器模型

来源：评论

学校读者我要写书评

暂无评论

基于匹配网络模型的小样本机器学习方法研究

基于匹配网络模型的小样本机器学习方法研究

引用

作者：张潆心东北师范大学

学位级别：硕士

近些年由于计算机技术高速发展以及互联网产生的大量数据,使得深度学习在计算机视觉、自动机器翻译、语音识别及自动驾驶等领域取得显著成果.就计算机视觉而言当下流行的识别算法如AlexNet[1]、VGGNet[2]、ResNet[3]等都需要在每类数千... 详细信息

近些年由于计算机技术高速发展以及互联网产生的大量数据,使得深度学习在计算机视觉、自动机器翻译、语音识别及自动驾驶等领域取得显著成果.就计算机视觉而言当下流行的识别算法如AlexNet[1]、VGGNet[2]、ResNet[3]等都需要在每类数千张训练样本的数据集上训练,才能得到较高的准确率.对于只有少量样本的其他数据集很难在此基础上微调得到较好的结果.这些限制使得深度学习在某些数据稀缺领域的应用受到限制.因此产生了Few/One/Zero-shot Learning等研究领域,主要研究在每类只给定少量、一个甚至没有训练样本时如何设计识别算法,以保证模型具有较强的泛化能力.本文主要针对Few/One-shot Learning现有的距离模型Matchingnet[4]进行如下创新.首先,对比现有的各种图像识别及目标检测特征提取框架,结合可视化结果在不改变网络轻量性的前提下创造性的提出新的网络结构及学习率衰减策略.加快了模型训练速度同时提高了验证集准确率,在Omniglot及Flower数据集One-shot Learning任务上准确率分别可提高0.6%、6.5%.其次通过对比研究发现,输入后加入dropout可起到对样本增加噪声的作用,有助于缓解样本量过少引起的过拟合现象.最后利用梯度反卷积可视化方法对模型进行可视化,帮助理解模型工作原理、发现问题,提供后续研究方向.

关键词： Few/One-shot Learning 元学习深度学习可视化学习率衰减

来源：评论

学校读者我要写书评

暂无评论

基于门控神经网络的算法学习问题研究

基于门控神经网络的算法学习问题研究

引用

作者：王应灿山东大学

学位级别：硕士

算法学习问题作为人工神经网络以及人工智能应用的主要问题之一,指的是计算机只训练样本的输入输出进而对未知算法进行拟合的问题。算法学习问题要求模型具有长时间记忆的能力,而作为具有循环结构的门控神经网络,更新门以及遗忘机制的... 详细信息

算法学习问题作为人工神经网络以及人工智能应用的主要问题之一,指的是计算机只训练样本的输入输出进而对未知算法进行拟合的问题。算法学习问题要求模型具有长时间记忆的能力,而作为具有循环结构的门控神经网络,更新门以及遗忘机制的设置使得门控神经网络具有长时间记忆的能力,因此门控神经网络适合应用于算法学习问题。但仅仅使用标准的门控神经网络完成算法任务时,发现两个问题:一是网络中激活函数的选择导致网络运行速度变慢;二是网络中固定的学习率导致网络收敛速度变慢。针对在使用网络模型完成任务时出现的这两个问题,本文做了如下工作:首先,对门控神经网络进行了综述与分析。在对循环神经网络结构与实现功能介绍的基础上,给出了门控神经网络提出的背景。同时结合算法学习问题,分析了门控神经网络在处理这类问题时的缺陷及改进原因。通过分析发现影响门控神经网络在算法学习问题上的表现主要集中三个因素:网络结构、激活函数以及学习率。从而下一步对门控神经网络的优化主要基于这些因素。其次,研究并改进了门控神经网络中激活函数。为了通过减少网络计算量减轻网络负担,文章引入了门截断机制的硬限幅函数以及其变体代替原网络中sigmoid激活函数。相比之下,改进后的函数不仅具备原激活函数的主要性质,较之前的激活函数计算简便,减少了网络的运行负担。然后,考虑了门控神经网络中学习率的改进。改进了学习率衰减方案,优化了因为学习率固定带来的网络收敛速度变慢的问题。对比原学习率衰减方案,新的学习率衰减方案在应用中具有更快的收敛速度。使用学习率衰减方案代替门控神经网络中的固定学习率,既保证了门控神经网络参数更新方式不发生本质改变,又提高了网络收敛速度。最后,实验结果表明,只使用本文提出的激活函数替代方案时,与门控神经网络相比,网络的训练速度至少提升了 10%;只使用本文提出的固定学习率替代方案时,与门控神经网络相比,网络训练的收敛速度至少提升了6%;在使用学习率衰减方案以及激活函数替代方案后,网络收敛速度至少比原门控神经网络快6%,训练速度比门控神经网络快8%。

关键词：门控神经网络算法学习激活函数学习率衰减

来源：评论

学校读者我要写书评

暂无评论

针对图像深度伪造模型的对抗样本生成技术研究

针对图像深度伪造模型的对抗样本生成技术研究

引用

作者：裘昊轩中国人民公安大学

学位级别：硕士

深度伪造是使用深度学习模型伪造虚假图片、视频、音频等媒体文件的技术,其滥用严重危害了信息安全和社会稳定。为了防范深度伪造带来的潜在风险,论文研究针对深度伪造模型的对抗样本生成技术。针对现有对抗攻击深度伪造模型研究中,所... 详细信息

深度伪造是使用深度学习模型伪造虚假图片、视频、音频等媒体文件的技术,其滥用严重危害了信息安全和社会稳定。为了防范深度伪造带来的潜在风险,论文研究针对深度伪造模型的对抗样本生成技术。针对现有对抗攻击深度伪造模型研究中,所使用的攻击算法效率低下的问题,论文从对抗样本生成算法优化方面开展研究,以逼近算法的更优解;针对现有对抗攻击深度伪造模型研究中,所生成的对抗样本泛化能力较差的问题,论文从对抗样本多目标优化方面开展研究,拓展对抗样本的泛化性。论文将两个研究成果进行融合,增强了针对深度伪造模型的对抗攻击效果。论文的主要成果有:(1)针对现有研究中所使用的对抗样本生成算法效率低下的问题,提出了一种改进的对抗样本生成算法DAPGD,以提升所生成对抗样本的攻击能力。DAPGD使用自适应衰减学习率的思路,能加快算法收敛速度,提升收敛时对抗样本的质量;通过动态地设置用于衰减学习率的检查点,能更彻底地发挥学习率衰减的作用;取消了APGD的局部早停机制以适应深度伪造模型使用随机参数导致损失函数的不稳定性。通过对抗攻击深度伪造模型对比实验表明,相较于I-FGSM、PGD等基线算法,DAPGD算法在各种对抗攻击深度伪造模型的场景下,能令模型输出失真大小与攻击成功率提升30%-60%。(2)针对现有研究中所生成的对抗样本泛化性较差的问题,提出了一种跨域跨模型梯度融合方法CDMGF,用于拓展任意基于梯度的对抗样本生成算法的泛化性。CDMGF通过均值加权的方式整合模型内的域间梯度,得到跨域梯度;借鉴多重梯度下降算法(MGDA)的思路整合各模型之间的跨域梯度,得到扰动向量以更新对抗样本;并提出了一种基于惩罚策略的梯度正则化方法对跨域梯度作预处理。实验表明,相较于单一攻击对象方式对于未攻击的模型仅有极差的攻击效果(低至0%的攻击成功率),CDMGF能对各模型实现60%-100%的攻击成功率,显著提升了对抗样本对各模型综合攻击效果。

关键词：深度伪造对抗样本动态检查点学习率衰减泛化性

来源：评论

学校读者我要写书评

暂无评论

基于YOLOv4模型的遥感图像目标检测算法研究

基于YOLOv4模型的遥感图像目标检测算法研究

引用

作者：黄聪成都理工大学

学位级别：硕士

遥感图像目标检测是进行遥感图像信息自动化提取、场景分割等复杂任务的关键技术,能够广泛应用于地质灾害监测、植被生态保护、农业遥感等各个领域。然而不同于自然场景中的图像,遥感图像由于其自身存在目标尺度差异大,图像分辨率低,视... 详细信息

遥感图像目标检测是进行遥感图像信息自动化提取、场景分割等复杂任务的关键技术,能够广泛应用于地质灾害监测、植被生态保护、农业遥感等各个领域。然而不同于自然场景中的图像,遥感图像由于其自身存在目标尺度差异大,图像分辨率低,视角特殊等特点,导致传统的基于机器学习方法的目标检测算法模型应用于遥感图像处理时往往表现不佳,其检测精度和检测效率都不能满足实际要求。目前,基于深度学习方法的目标检测模型在特征学习方面发挥出巨大优势,受到了各研究者的广泛关注。因此,本文针对如何进一步提升算法模型在遥感图像中的检测效果进行研究。论文基于YOLOv4检测模型,结合遥感图像特点,提出了遥感图像目标检测模型(YOLOv4-RS)及优化算法。本文主要的研究内容及工作如下: 论文提出的遥感图像目标检测模型(YOLOv4-RS)及优化算法包括学习率衰减策略、多尺度特征融合、回归损失函数以及非极大值抑制算法。 (1)学习率衰减策略研究:学习率如何进行衰减会对模型的收敛性和平稳性产生重要影响,学习率取值过大会使模型收敛产生震荡,相反会增加模型的收敛时间,论文采用三角型学习率衰减策略。该衰减策略是一种周期性学习率,使模型的学习率在固定大小范围内进行周期变化,从而能够避免模型陷入局部最小值,增强了网络模型的收敛性。 (2)多尺度特征融合研究:在图像特征中,浅层特征包含更多的细节信息,而高层特征则包含更多的语义信息。针对模型在特征融合时出现信息冗余的情况,论文采用了一种Bi FPN多尺度特征融合结构用于图像特征信息的融合。该结构在PANet的基础上引入了跳跃连接,能够进一步增强网络模型多尺度特征信息的融合能力。 (3)回归损失函数研究:在检测框的回归过程中,目标的定位精度不仅与预测框和真实框之间的交并比大小有关,而且回归框的长宽信息同样也能影响目标的检测性能。针对模型中损失函数关于回归框信息表达不足的现象,论文采用了一种EIOU损失函数中。该函数通过加入回归框长宽比信息作为函数的一个惩罚项,能够进一步优化检测框的回归过程。 (4)非极大值抑制算法研究:在目标检测的后处理阶段,如何有效地处理冗余预测框是解决算法模型出现漏检和误检现象的重要一步。针对遥感图像目标小而密集等特点,通过使用Soft-DIOU-NMS代替DIOU-NMS的方法来降低预测框的得分权重进行模型训练,从而能够缓解模型在目标密集区域出现漏检和误检的现象,提升算法模型整体的检测性能。最后,本文基于YOLOv4目标检测模型,通过有效融合以上优化方法提出了一种新的目标检测模型YOLOv4-RS,并与其它检测模型进行消融实验。实验结果表明,本文改进模型在不影响检测效率的情况下能够进一步提高模型对物体的检测精度,从而提升了模型整体的检测效果。

关键词：遥感图像学习率衰减多尺度特征损失函数非极大值抑制

来源：评论

学校读者我要写书评

暂无评论

基于多模型决策融合的可回收垃圾分类方法

引用

网络新媒体技术 2022年第6期11卷 48-56页

作者：张露理华崔杰王晓东肖灵中国科学院声学研究所超声学实验室北京100190 中国科学院大学电子电气与通信工程学院北京100049

为解决现存可回收垃圾分类方法较为低效,垃圾不能及时处理的问题,本文提出了一种基于多模型决策融合网络并实现了准确的垃圾分类。构建的决策融合网络以垃圾图像作为输入,选取经典神经网络Googlenet、VGG19_BN、Resnet18分别作为3个决... 详细信息

为解决现存可回收垃圾分类方法较为低效,垃圾不能及时处理的问题,本文提出了一种基于多模型决策融合网络并实现了准确的垃圾分类。构建的决策融合网络以垃圾图像作为输入,选取经典神经网络Googlenet、VGG19_BN、Resnet18分别作为3个决策模型,融合3个决策模型的决策分类结果作为最终分类结果,实现更为可靠、精确的可回收垃圾分类。模型的训练还加入了迁移学习与学习率衰减的技巧。经过数据集验证,与其他可回收垃圾分类深度学习方法相比所提出的方法实现了更高的可回收垃圾分类准确率,其在数据集上的测试准确率达到97.67%,同时与单模型决策网络的比较结果验证了本文所提多模型决策融合方法的有效性。

关键词：可回收垃圾分类决策模型迁移学习学习率衰减决策融合

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：