面向数据科学的稀疏建模与优化计算研究

作     者：杨娇娇 

作者单位：中国科学技术大学 

学位级别：博士

导师姓名：杨周旺

授予年度：2018年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

主      题：稀疏优化 交替方向法 pair-wise线性约束 地震反演 组模偏正则化 聚类分析 最大间隔聚类 

摘      要：在大数据时代,国内外很多研究者从事数据科学、机器学习等大数据技术相关课题的研究。最优化方法无疑是大数据分析、建模、计算的一个有效手段,如何设计高效高精度的优化算法是当前数据科学领域的核心问题之一。例如,很多机器学习任务本质上是(可转化为)优化模型,也就是说:优化是机器学习的核心。在数据科学中,针对数据建模分析,运用最优化理论方法构建优化模型并设计优化求解算法。同时,大数据往往含有冗余信息,在建模中如何发现并利用问题的稀疏结构,需要发展稀疏建模与稀疏优化方法。为此,本文重点研究稀疏建模方法和稀疏优化算法及其在反演问题、聚类分析等方面的应用。本文的主要研究内容包括:(1)Pair-wise线性约束优化的交替方向算法;(2)地震反演的稀疏优化建模;(3)组模偏正则稀疏优化算法理论;(4)模糊最大间隔光滑均衡聚类方法。在求解大规模稀疏优化问题,交替方向法以其高效的求解效率备受关注。通过增广拉格朗日函数将问题分裂成多个低维子问题进行迭代求解,然而针对多个变量及非凸问题,其收敛性的理论研究还是一个开放的问题,本文中,针对特殊的约束条件,称为pair-wise的线性约束,研究了该模型下的交替方向法,并将其延伸到多个分离变量下的凸优化问题,从理论上证明了算法的收敛性,最后通过实验结果验证了算法的有效性。随着交叉学科的发展,优化理论成为工程应用的一个强有力的工具。近年来,压缩感知算法在地球物理领域发挥越来越大的作用,并开始成功地被应用于多个地震学和地球物理反演问题中。在震源反演问题中,由于地震破裂过程中能量辐射位置是稀疏的,通过建立稀疏优化模型,利用变量分离方法使得模型满足pair-wise线性约束条件,从而利用交替方向法来求解,最后通过理论实验结果表明该算法提高了反演的准确率,加快了反演效率。在工程学科等应用问题中,需要求解问题的稀疏解,而基本的l0范数最小化问题是一个NP难问题,在较强的条件下,l0范数等价于求解l1范数的解。然而在一般情况下,用l1范数近似l0范数具有一定的偏差,这是因为向量中绝对值较大的分量对l1范数有较大的贡献。因此我们引入偏正则化模型,来近似求解问题的稀疏解。并将其应用到组模优化问题中,针对该模型,我们从理论上证明了该稀疏优化模型解的存在性以及稀疏性。在数据科学中,很多模型都是基于数据进行分析,聚类模型就是在探索数据结构中起着不可或缺的作用。聚类分析是一种无监督学习方法,通过未标记的数据集推断其隐藏结构。基于最大间隔的框架已经成为监督学习的有力工具,在该框架的基础上通过深入研究优化理论及算法,将其延伸到无监督学习情况下。引入数据点之间的相似性度量构建图结构及拉普拉斯矩阵,联合光滑正则和均衡奖励,提出一个新的模糊最大间隔光滑均衡聚类模型。针对该模型设计交替迭代的优化算法,并进一步分析该聚类模型解的一致非退化性和迭代求解算法的收敛性。