复值神经网络的Lp正则化梯度学习算法研究

作     者：王敬 

作者单位：大连海事大学 

学位级别：硕士

导师姓名：张会生

授予年度：2019年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：复值神经网络 梯度学习算法 正则化方法 收敛性 稀疏性 

摘      要：近年来,学者们对神经网络做了大量的研究工作,并将其应用在模式识别、信号处理、光电子学等领域。复值信号广泛出现在图像处理、通信工程、语音识别等领域,为了有效处理复值信号,人们在传统实值神经网络的基础上提出了具有复值权值、阂值、输入输出信号的复值神经网络,复值神经网络的相关研究也逐渐成为一个研究热点。根据激活函数的不同,复值神经网络可分为分离复值神经网络和全复神经网络。分离复值神经网络利用一对实值有界函数处理复值输入信号的实部和虚部,这种方法保证了激活函数的有界性,避免了复数域求导问题和奇异点的出现。全复神经网络则利用全复激活函数处理复值信号,可更好的捕捉信号的实、虚部之间的耦合关系,因此具有更好的性能。本文在全复神经网络的框架下开展研究,针对复梯度学习算法所存在的收敛速度慢、易陷入局部极小值以及出现过拟合等问题,将复值梯度学习算法与Lp正则化方法相结合,提出带Lp正则项的复值梯度学习算法,并对算法的收敛性、稀疏性进行分析。本文第一章介绍神经网络的发展历程,结合当今学者的研究成果分析了复值神经网络的研究现状,阐述了神经计算领域未解决的问题。第二章介绍了几类常见的正则子和Wirtinger算子理论,提出了关于复变函数的中值定理。第三章研究带L2正则项的复值梯度学习算法,建立了算法的收敛性定理,同时给出理论证明,通过数值实验验证了理论分析的合理性。第四章研究带光滑L0正则项的复值梯度学习算法,证明了误差函数单调下降、其梯度范数收敛及权值一致有界,同时给出了理论推导。通过数值实验与带L2正则项的复值梯度学习算法和标准的复值梯度学习算法进行比较,验证了理论分析的有效性。最后对本论文的主要研究工作进行了整理,并指出一些需要改进的问题以及进一步展望。