检索结果-内蒙古大学图书馆

作者：荆俊玲大连海事大学

学位级别：硕士

以深度神经网络为载体的深度学习是人工智能领域的研究热点,而梯度法是深度学习中最常用的学习算法。随着神经网络结构变得越来越复杂,Dropout作为一种防止过拟合的正则化方法,应用也越来越广泛。虽然梯度学习算法的收敛性已有了比较成... 详细信息

以深度神经网络为载体的深度学习是人工智能领域的研究热点,而梯度法是深度学习中最常用的学习算法。随着神经网络结构变得越来越复杂,Dropout作为一种防止过拟合的正则化方法,应用也越来越广泛。虽然梯度学习算法的收敛性已有了比较成熟的研究结果,但由于Dropout正则化方法造成网络结构和学习过程的不确定性,导致Dropout正则化梯度学习算法的收敛性研究具有相当的挑战性。本文对Dropout正则化梯度学习算法的确定型收敛性开展研究,针对基于Dropout正则化方法的批处理梯度学习算法、小批量梯度学习算法和在线梯度学习算法,探索保证学习算法收敛的Dropout方式和目标函数定义策略,明确Dropout正则化方法对学习过程的作用机制,进而建立算法的确定型收敛性理论。通过在MNIST等经典数据集上进行仿真实验,验证算法的有效性和理论的正确性。具体工作总结如下: (1)借鉴Dropout的思想,在网络训练过程中,我们选择以循环(Cyclic)方式对掩码向量进行采样,提出了带有循环Dropconnect和惩罚项的梯度学习算法(GMCDP),并对此算法展开研究。由于Dropout可以视为Dropconnect的一种特殊形式,故相关分析结果对Dropout亦成立。 (2)为了保证网络收敛性,选择以误差函数的期望作为目标函数,证明当单隐层网络的输出为线性输出时,带有惩罚项和循环Dropconnect的批处理反向传播算法(BBP-PCD)算法的确定型收敛性,并给出相应的证明过程。 (3)为了进一步探究深度网络的性能,借鉴带有惩罚项的批处理反向传播算法的分析方法,将线性输出的BBP-PCD扩展到使用一般激活函数的深度网络上,对批处理、在线和小批量三种情况下的带有循环Dropconnect和惩罚项的梯度学习算法(BGMCDP、OGMCDP和MBGMCDP)进行了权值有界性分析和确定型收敛性分析,探索保证算法收敛的误差函数,并给出了相应的推导过程。 (4)将所提出的算法应用到MNIST分类数据集上,在选定合适的惩罚项系数后,将不同Dropout比例下训练的网络效果进行对比,并将其与无惩罚项的情况进行比较,以便于明确Dropout和惩罚项各自对网络训练的影响。

关键词：循环Dropconnect 梯度学习算法线性输出权值有界性确定型收敛性

来源：评论

学校读者我要写书评

暂无评论

带动量项的随机分组梯度学习算法的收敛性

带动量项的随机分组梯度学习算法的收敛性

引用

作者：王杰玲华东理工大学

学位级别：硕士

从1943年神经元数学模型被提出,到现在人工智能的研究热潮,人工神经网络的发展已经约80年了。它对社会的进步和人们的生产生活都开始发挥着越来越大的作用。目前越来越多的领域都开始使用人工神经网络技术,比如智能机器人、食品工业、... 详细信息

从1943年神经元数学模型被提出,到现在人工智能的研究热潮,人工神经网络的发展已经约80年了。它对社会的进步和人们的生产生活都开始发挥着越来越大的作用。目前越来越多的领域都开始使用人工神经网络技术,比如智能机器人、食品工业、医药科技以及无人驾驶等方面,而且也都取得了大大小小的成功。但是,人们对人工神经网络理论方面的研究却还不是很多,本文就旨在讨论带动量项的两层前馈神经网络的随机分组梯度学习算法的收敛性。在我们的讨论中,使用的训练样本都是线性无关的,每轮训练时,所有训练样本都随机分组,每组的样本数量是固定不变的,我们以组为单位对权值进行更新,学习效率参数和动量系数都以自适应的方式来选择。我们证明了在这些条件下带动量项的梯度学习算法的弱收敛性和强收敛性。

关键词：前馈神经网络动量项梯度学习算法收敛性

来源：评论

学校读者我要写书评

暂无评论

带正则项Pi-sigma神经网络梯度学习算法研究

引用

信息与电脑 2020年第1期32卷 38-41页

作者：张岩庆范钦伟贺兴时西安工程大学

Pi-sigma神经网络是一种高阶神经网络,其网络结构中通过引入求积节点增强了网络的非线性映射能力,有效提高了网络的泛化性能。然而,Pi-sigma神经网络结构相当复杂,对网络学习提出了更高的要求。笔者通过引入光滑化L1/2正则项,建立一种... 详细信息

Pi-sigma神经网络是一种高阶神经网络,其网络结构中通过引入求积节点增强了网络的非线性映射能力,有效提高了网络的泛化性能。然而,Pi-sigma神经网络结构相当复杂,对网络学习提出了更高的要求。笔者通过引入光滑化L1/2正则项,建立一种新的带稀疏约束的Pi-sigma神经网络,从而克服了学习过程中的震荡现象,提升了网络的学习效率,最后通过计算机仿真实验对比几种带不同正则项的网络算法的学习效果,验证了该算法的有效性。

关键词： Pi-sigma神经网络正则项梯度学习算法

来源：评论

学校读者我要写书评

暂无评论

复值神经网络的Lp正则化梯度学习算法研究

复值神经网络的Lp正则化梯度学习算法研究

引用

作者：王敬大连海事大学

学位级别：硕士

近年来,学者们对神经网络做了大量的研究工作,并将其应用在模式识别、信号处理、光电子学等领域。复值信号广泛出现在图像处理、通信工程、语音识别等领域,为了有效处理复值信号,人们在传统实值神经网络的基础上提出了具有复值权值、阂... 详细信息

近年来,学者们对神经网络做了大量的研究工作,并将其应用在模式识别、信号处理、光电子学等领域。复值信号广泛出现在图像处理、通信工程、语音识别等领域,为了有效处理复值信号,人们在传统实值神经网络的基础上提出了具有复值权值、阂值、输入输出信号的复值神经网络,复值神经网络的相关研究也逐渐成为一个研究热点。根据激活函数的不同,复值神经网络可分为分离复值神经网络和全复神经网络。分离复值神经网络利用一对实值有界函数处理复值输入信号的实部和虚部,这种方法保证了激活函数的有界性,避免了复数域求导问题和奇异点的出现。全复神经网络则利用全复激活函数处理复值信号,可更好的捕捉信号的实、虚部之间的耦合关系,因此具有更好的性能。本文在全复神经网络的框架下开展研究,针对复梯度学习算法所存在的收敛速度慢、易陷入局部极小值以及出现过拟合等问题,将复值梯度学习算法与Lp正则化方法相结合,提出带Lp正则项的复值梯度学习算法,并对算法的收敛性、稀疏性进行分析。本文第一章介绍神经网络的发展历程,结合当今学者的研究成果分析了复值神经网络的研究现状,阐述了神经计算领域未解决的问题。第二章介绍了几类常见的正则子和Wirtinger算子理论,提出了关于复变函数的中值定理。第三章研究带L2正则项的复值梯度学习算法,建立了算法的收敛性定理,同时给出理论证明,通过数值实验验证了理论分析的合理性。第四章研究带光滑L0正则项的复值梯度学习算法,证明了误差函数单调下降、其梯度范数收敛及权值一致有界,同时给出了理论推导。通过数值实验与带L2正则项的复值梯度学习算法和标准的复值梯度学习算法进行比较,验证了理论分析的有效性。最后对本论文的主要研究工作进行了整理,并指出一些需要改进的问题以及进一步展望。

关键词：复值神经网络梯度学习算法正则化方法收敛性稀疏性

来源：评论

学校读者我要写书评

暂无评论

基于快速梯度的自组织RBF神经网络研究与应用

基于快速梯度的自组织RBF神经网络研究与应用

引用

作者：马苗立北京工业大学

学位级别：博士

人工智能是用计算机模拟人类思维过程和智能行为的学科。人工智能自问世以来发展迅速，很快成为了一门与多门学科交叉的前沿科学。人工神经网络作为人工智能技术的一个重要分支，已经在工、农、交通、医学、军事等众多领域得到了广泛应... 详细信息

人工智能是用计算机模拟人类思维过程和智能行为的学科。人工智能自问世以来发展迅速，很快成为了一门与多门学科交叉的前沿科学。人工神经网络作为人工智能技术的一个重要分支，已经在工、农、交通、医学、军事等众多领域得到了广泛应用。径向基(Radial Basis Function，RBF)神经网络是一种常用的前馈浅层人工神经网络，它具有结构简单、逼近能力强、训练简单等优点，已经在很多领域得到了应用。获得合适的网络状态（结构和参数）是RBF神经网络被广泛应用的关键。　　近年来，学者们提出了许多算法用于训练RBF神经网络以帮助其获取合适的网络状态。其中，基于梯度的算法因为计算简单、训练速度快、容易实现等优点，成为了RBF神经网络最常用的训练算法之一。然而基于梯度的算法，容易受到梯度消失问题的影响，产生学习不充分的“早熟”现象。解决梯度消失问题，持续获取足够多有效的梯度信息保证算法的顺利进行，以提高学习性能一直是基于梯度算法的一个研究热点。本文在对RBF神经网络和基于梯度算法深入研究的基础之上，结合两者的特点设计了一系列获得有效梯度信息的策略以帮助RBF神经网络快速收敛到理想的网络状态，主要研究工作和创新点有:　　1)基于加速梯度算法的RBF神经网络设计　　在RBF神经网络的训练过程中，当样本位于神经元激活函数的饱和区域时，参数的更新会比较困难。因为在这种情况下，参数的梯度值将等于或接近于零。为了解决这一问题，本文设计了一种加速梯度算法，该算法包含了一种神经元作用宽度的自适应拉伸机构，使样本远离神经元激活函数的饱和区域。首先，设计了一种基于代价函数瞬时收敛率和瞬时梯度衰减率的梯度消失检测机制，该检测机制可以有效的检测出因梯度消失问题引起的学习过程变慢。其次，根据梯度的衰减情况和网络的学习情况，设计了一种通过自适应拉伸激活函数作用宽度的梯度放大策略，该策略通过帮助样本逃离神经元激活函数饱和区域以增大参数梯度值，使学习过程快速收敛到更优状态。最后，通过对所设计算法进行深入的理论分析，从理论上保证了所设计算法的加速收敛效果及可实施性。　　2)基于混合梯度学习算法的RBF神经网络设计　　针对RBF神经网络训练过程容易陷入代价函数表面的局部最优点、鞍点或平坦点而引起的学习“早熟”的现象，本文设计了一种混合梯度学习算法用于RBF神经网络的训练以提高其学习性能。首先，利用解群构建了一个有限的超空间，并在超空间内引入可以越过代价函数表面的超平面梯度。超平面梯度的引入可以避免学习过程陷入代价函数表面的局部最优点、鞍点或平坦点。其次，设计了自适应学习率用于平衡超平面梯度和传统梯度使得搜索过程被限制在超空间内。在学习过程中，通过不断压缩超空间以逼近全局最优解。最后，深入分析了所设计算法的收敛性和复杂度，从理论上保证了算法的可实施性。　　3)基于自适应梯度空间的结构自组织RBF神经网络设计　　RBF神经网络的结构和其梯度空间有很大的关系。在对网络结构和网络梯度空间相互影响研究的基础之上，本文设计了一种结构自组织的RBF神经网络。所设计的自组织RBF神经网络通过结构的调整帮助学习过程获取到更多更有效的梯度信息，提高了参数的优化效率。首先，提出了一种基于神经元完备度和正交性的自适应扩大和修剪梯度空间策略，该策略可以将有效梯度信息持续的添加到梯度空间，并删除冗余梯度信息。随着梯度空间的调整，神经元被相应的增加或修剪，获得了一个紧凑的网络结构，增强了网络的泛化能力。其次，设计了一种改进的加速二阶学习算法对网络参数进行调整，实现了网络结构和参数的同步协调优化。最后，从理论上对网络结构调整的稳定性及二阶算法获取有效梯度的有效性两个方面进行了分析，保证了算法的可实施性。　　4)基于自组织RBF神经网络的污水处理过程出水水质指标的测量模型设计　　城市污水处理过程是个复杂的工业过程，其出水水质指标参数难以直接测量。本文在深入分析污水处理过程的基础上，提出了基于自组织RBF神经网络的污水处理过程出水水质各指标参数的动态软测量模型。该模型解决了现有预测方法滞后严重、成本较大、污染严重、精度不高等问题。首先，所设计的模型根据历史数据动态的选择每一个出水水质指标参数的关键相关变量，减少数据冗余的同时保证了模型对过程工况突变的响应速度。其次，所选择的关键相关变量在进入网络前进行了非线性归一化等一系列预处理，平衡各个关键变量作用的同时减少异常数据的影响，提高了模型的精度和稳定性。最后，所设计的模型通过动态的构建RBF神经网络进一步提高了模型的预测精度。

关键词：径向基神经网络自组织网络结构梯度学习算法动态软测量模型结构调整

来源：评论

学校读者我要写书评

暂无评论

运用PSO算法的自递归RBF网络建模与应用

引用

计算机工程与应用 2019年第13期55卷 172-177页

作者：曾添杨德刚重庆师范大学计算机与信息科学学院

普通三层RBF网络已经是一种较好的神经网络,为了进一步提高RBF网络的性能,在普通三层RBF网络的基础上,构建出一种运用PSO算法的自递归RBF网络。学习算法采用以梯度学习算法配合PSO算法对参数进行调整。与采用动量-梯度学习算法,且为结... 详细信息

普通三层RBF网络已经是一种较好的神经网络,为了进一步提高RBF网络的性能,在普通三层RBF网络的基础上,构建出一种运用PSO算法的自递归RBF网络。学习算法采用以梯度学习算法配合PSO算法对参数进行调整。与采用动量-梯度学习算法,且为结构为三层的RBF网络相比,提的运用PSO算法的自递归RBF网络可以在神经元较少的情况下,具有更好的泛化能力、鲁棒性和准确性。最后通过仿真实验,对算法的有效性进行了验证。

关键词：递归子网径向基子网络深度学习梯度学习算法 PSO算法

来源：评论

学校读者我要写书评

暂无评论

递归神经网络梯度学习算法的收敛性

递归神经网络梯度学习算法的收敛性

引用

作者：徐东坡大连理工大学

学位级别：博士

人工神经网络(Artificial Neural Networks,简写为ANNs)是一种模拟生物神经网络结构进行信息处理的数学模型,也简称为“神经网络”(Neural network,NNs)。按照网络结构可分为两类:前向神经网络(FeedForward NNs)和递归神经网络(Recurren... 详细信息

人工神经网络(Artificial Neural Networks,简写为ANNs)是一种模拟生物神经网络结构进行信息处理的数学模型,也简称为“神经网络”(Neural network,NNs)。按照网络结构可分为两类:前向神经网络(FeedForward NNs)和递归神经网络(Recurrent NNs)。在前向神经网络中,前一层的输出为下一层的输入,信息的处理具有逐层传递进行的方向性,一般不存在反馈环路。前向神经网络实现输入向量x到输出向量y的映射,通常称之为静态映射,可用于处理与时间无关的对象,如文字识别,曲线逼近等问题。而在非线性动态系统建模、辨识、控制、故障诊断以及时间序列预测等许多领域中,经常涉及到两个离散时间序列x(t)和y(t)之间的映射,其中y(t)不仅依赖于x(t),而且还依赖于x(t-1),x(t-2),…,以及y(t-1),y(t-2),…,一般称之为动态映射。处理这类问题的网络本身应是一个动态系统,为此需要在网络中引入记忆功能。递归神经网络通过它们自身的暂态操作能够处理时变的输入和输出,它实现的是动态映射,比前向神经网络更适合于解决动态系统的问题。类似于前向神经网络,在训练递归神经网络时经常使用简单的梯度搜索算法。由于其递归的特性,致使对梯度的计算也是递归的,从而使其学习较前向网络要复杂得多。递归神经网络梯度学习算法的重要研究的课题之一便是其收敛性理论,对其开展研究不仅有助于我们理解方法的本质与特性,而且对其众多的具体应用也有着重要的指导意义。第一章回顾了有关神经网络的一些背景知识。第二章讨论了全递归神经网络梯度下降学习算法的收敛性。我们给出了误差函数单调性及收敛性定理,并给出了数值试验结果。第三章考虑有限样本集上Elman网络梯度学习算法的确定收敛性。证明了误差函数的单调递减性,在此基础上,给出了一个弱收敛性结果和一个强收敛结果,即误差函数的梯度收敛于零,权值序列收敛于固定点。数值试验验证了理论结果的正确性。第四章研究了在Elman神经网络的误差函数梯度中部分地去掉反馈项时对其性能的影响,主要目的是为了解决计算量太大的难题。我们分析了这种近似梯度算法的收敛性,得到了在学习过程中目标函数的单调性及近似梯度趋近于零的结果。第五章揭示了递归神经网络梯度学习算法的等价性。递归神经网络的两种经典学习算法分别为实时递归学习算法和随时间演化的反向传播算法,当权值更新为批方式时,我们证明这两种算法是等价的,二者所生成的权值增量相同。第六章针对递归神经网络的一些改进学习算法,给出了收敛性结果。

关键词：递归神经网络梯度学习算法单调性收敛性等价性

来源：评论

学校读者我要写书评

暂无评论

Elman网络梯度学习法的收敛性

引用

应用数学和力学 2008年第9期29卷 1117-1123页

作者：吴微徐东坡李正学大连理工大学应用数学系辽宁大连116023

考虑有限样本集上Elman网络梯度学习法的确定性收敛性.证明了误差函数的单调递减性.给出了一个弱收敛性结果和一个强收敛结果,表明误差函数的梯度收敛于0,权值序列收敛于固定点.通过数值例子验证了理论结果的正确性.

关键词： Elman神经网络梯度学习算法收敛性单调性

来源：评论

学校读者我要写书评

暂无评论

径向基概率神经网络的结构优化算法研究

引用

科技信息 2008年第33期 219-220页

作者：胡运江重庆三峡学院财务处重庆万州404000

径向基概率神经网络(RBPNN)是在径向基函数神经网络(RBFNN)和概率神经网络(PNN)的基础上发展起来的一种新型的前馈神经网络(FNN)模型。该网络模型充分吸收了径向基函数神经网络和概率神经网络的优点,这种新的模型具有计算复杂度低、收... 详细信息

径向基概率神经网络(RBPNN)是在径向基函数神经网络(RBFNN)和概率神经网络(PNN)的基础上发展起来的一种新型的前馈神经网络(FNN)模型。该网络模型充分吸收了径向基函数神经网络和概率神经网络的优点,这种新的模型具有计算复杂度低、收敛速度快等优点。本文深入研究了径向基概率神经网络的结构优化算法,在遗传结构优化方法的基础上,提出一种新的两步学习算法,基于遗传算法的梯度学习算法。该算法一方面优化了网络结构,使网络结构尽可能的精简,另一方面有效地提高了网络的推广能力。

关键词：径向基概率神经网络递推正交最小二乘算法梯度学习算法

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：