检索结果-内蒙古大学图书馆

系统科学与数学 2023年第1期43卷 78-93页

作者：刘鹏杰邵虎王云吴晓宇中国矿业大学数学学院徐州221116 广西民族大学数学与物理学院南宁530006

基于对称交替方向乘子法(ADMM),结合松弛步技巧,该文提出一种带松弛步的对称ADMM用于求解两分块线性约束非凸优化问题.同时,新算法乘子更新步采用不同的松弛因子.常规假设下,给出新算法子序列的收敛性证明.误差界条件下,分析并获得由新... 详细信息

基于对称交替方向乘子法(ADMM),结合松弛步技巧,该文提出一种带松弛步的对称ADMM用于求解两分块线性约束非凸优化问题.同时,新算法乘子更新步采用不同的松弛因子.常规假设下,给出新算法子序列的收敛性证明.误差界条件下,分析并获得由新算法产生的迭代点列以线性收敛的速率局部趋于问题稳定点,相应增广拉格朗日函数序列亦线性收敛.最后,初步试验结果表明新算法是有效的.

关键词：非凸优化交替方向乘子法误差界条件收敛率分析

来源：评论

学校读者我要写书评

暂无评论

广义梯度系统与外插邻近算法的收敛性分析

广义梯度系统与外插邻近算法的收敛性分析

引用

作者：温博哈尔滨工业大学

学位级别：博士

本文首先研究了一类二阶梯度系统的收敛行为,基于该系统,进一步研究了几类外插邻近算法的收敛性与收敛速度。具体研究内容如下:1.研究了一类二阶梯度系统的收敛行为及其与外插邻近梯度算法之间的关系。首先,针对一类非凸解析势函数,利用... 详细信息

本文首先研究了一类二阶梯度系统的收敛行为,基于该系统,进一步研究了几类外插邻近算法的收敛性与收敛速度。具体研究内容如下:1.研究了一类二阶梯度系统的收敛行为及其与外插邻近梯度算法之间的关系。首先,针对一类非凸解析势函数,利用?ojasiewicz不等式,在耗散项消失足够慢的条件下,证明了该系统的解轨道是收敛的,并且轨道长度有限。然后,讨论了二阶梯度系统与几类外插邻近梯度算法之间的关系。2.研究了一类外插邻近梯度算法的收敛行为,该算法用于求解一类非凸非光滑最小化问题。利用误差界条件,在外插项系数的上确界小于一个固定阈值的条件下,证明了由外插邻近梯度算法生成的迭代序列与函数值序列都是R线性收敛的。除此之外,当问题变成凸问题时,指出外插系数的阈值退化到1,进一步说明带有固定重启策略的快速迭代收缩阈值算法(fast iterative shrinkage-thresholding algorithm,简写为FISTA)是外插邻近梯度算法的一个特例。进而,利用带有固定重启策略的FISTA求解凸优化问题时,如果目标函数满足误差界条件,由该算法生成的迭代序列与函数值序列都是R线性收敛的。3.考虑了一类外插邻近梯度算法的收敛行为,该算法用于求解一类凸优化问题。对于一大类外插系数,包括FISTA中的外插系数,证明了由外插邻近梯度算法生成的迭代序列的连续变化趋于0.利用?ojasiewicz不等式,在外插系数满足一定条件下,证明了由外插邻近梯度算法生成的迭代序列是收敛的,并且序列长度有限。4.研究了外插邻近凸函数的差算法(difference-of-convex algorithm,简写为DCA)的收敛行为,该算法用于求解一类凸函数的差(difference-of-convex,简写为DC)优化问题。对于一大类外插系数,包括带有固定重启策略的FISTA中的外插系数,证明了由外插邻近DCA生成的迭代序列的任何一个聚点都是DC问题的一个平衡点。进一步,在目标函数满足一定条件下,利用Kurdyka-?ojasiewicz不等式,建立了外插迫近DCA的全局收敛性,并且分析了它的收敛速度。外插邻近DCA的有效性通过对带有DC正则函数的最小二乘问题做数值实验得以验证。

关键词：梯度系统外插邻近算法收敛非凸问题 ?ojasiewicz不等式误差界条件

来源：评论

学校读者我要写书评

暂无评论

非光滑复合优化问题加速邻近梯度算法研究

非光滑复合优化问题加速邻近梯度算法研究

引用

作者：王婷西安电子科技大学

学位级别：博士

非光滑复合优化问题是目前数学优化领域非常热门的研究课题,广泛见于图像处理、压缩传感、机器学习、系统识别、协同预测、低维嵌入、数据挖掘和模式识别等应用领域.邻近梯度算法具有迭代格式简单、适用于求解大规模问题等优点,是解非... 详细信息

非光滑复合优化问题是目前数学优化领域非常热门的研究课题,广泛见于图像处理、压缩传感、机器学习、系统识别、协同预测、低维嵌入、数据挖掘和模式识别等应用领域.邻近梯度算法具有迭代格式简单、适用于求解大规模问题等优点,是解非光滑复合优化问题的一类重要算法,然而,该算法在求解实际问题时收敛缓慢.因此,本文主要研究邻近梯度算法的加速策略并分析其理论结果和数值性能.首先,针对非光滑凸复合优化问题,在惯性邻近梯度算法的基础上,提出有效的加速策略,进一步优化算法的理论结果和数值性能.其次,针对非光滑非凸复合优化问题,结合邻近梯度算法和惯性邻近梯度算法,设计两类数值性能更优的加速邻近梯度算法,并分析算法的理论结果和数值性能.主要工作和创新成果如下:第一部分研究了解非光滑凸复合优化问题的惯性邻近梯度算法,主要内容有以下三个方面:(1)提出了一类自适应非单调步长策略,其中,步长序列具有有限步后单调递增性和收敛性,克服了线搜索策略会过大估计目标函数中光滑部分的梯度Lipschitz常数或产生额外的计算量从而减缓算法收敛的问题.设计了带有自适应非单调步长的FISTA类算法和FISTA类重启算法,建立了带有自适应非单调步长的FISTA类算法的次线性收敛率,并在误差界假设下证明了带有自适应非单调步长的FISTA类重启算法的线性收敛率.数值结果表明自适应非单调步长策略对于FISTA类算法和FISTA类重启算法的数值性能有重大提升.(2)提出了一类新的参数选取规则,使其不再局限于Nesterov参数准则,而具有更大的选择范围.引入一类新的证明方法—“比较法”,在误差界假设下,建立了惯性邻近梯度算法的抽象理论结果.基于提出的抽象理论结果,分析了 6类惯性邻近梯度算法生成的点列的收敛性以及点列和函数值序列的收敛率,特别地,证明了 FISTA算法生成的点列具有强收敛性和O(k-3)的次线性收敛率,生成的函数值序列具有O(k-6)的次线性收敛率;证明了一些惯性邻近梯度算法生成的点列具有强收敛性,生成的点列和函数值序列具有任意阶次线性收敛率.此外,基于自适应重启条件,提出了一类自适应修正惯性邻近梯度算法,并通过数值实验验证了算法的有效性.(3)提出了一类单调惯性邻近梯度算法,其中,单调性克服了惯性邻近梯度算法在迭代后期由于周期振荡现象而收敛缓慢的问题,以及解应用问题时由于极度非单调而导致算法发散的问题.在局部H?lder误差界假设下建立了 4类单调惯性邻近梯度算法的收敛结果.同时,将惯性邻近梯度算法在误差界假设下的收敛结果扩展到(0,1/2]-局部H?lder误差界假设下.此外,基于特殊参数选取,提出了一类混合单调惯性邻近梯度算法,并通过数值实验验证了算法的有效性.第二部分研究了解非光滑非凸复合优化问题的加速邻近梯度算法,主要内容有以下两个方面:(1)基于自适应非单调步长策略的算法思想,设计了一类适用于非凸复合优化问题的变步长策略,并结合邻近梯度算法和惯性邻近梯度算法,根据迭代点处的函数值信息,设计算法之间的转换规则,提出了一类变步长非单调加速邻近梯度算法.在一般假设下证明了算法生成的点列的任意聚点都是稳定点,并在目标函数满足Kurdyka-Lojasiewicz(KL)性质的假设下建立了算法基于KL参数的线性和次线性收敛率.数值结果表明变步长策略可有效加速算法收敛,且对于“凸+凸”、“凸+非凸”、“非凸+凸”和“非凸+非凸”四类测试问题,提出的算法均显著优于现有的求解方法.(2)结合邻近梯度算法和惯性邻近梯度算法,根据迭代点处信息,设计一类新的算法之间的转换规则,提出了一类修正邻近梯度算法.当使用该算法求解非光滑凸复合优化问题时,算法之间的转换规则不再基于迭代点处的函数值信息,避免了大量的函数值计算.理论分析中,通过构造具有充分下降性的势能函数,在一般假设下证明了算法生成的点列的任意聚点都是稳定点,并在目标函数满足Kurdyka-Lojasiewicz(KL)性质的假设下建立了算法的局部收敛率.数值实验验证了提出的算法的有效性.

关键词：非光滑复合优化问题邻近梯度算法 FISTA Kurdyka-Lojasiewicz性质误差界条件收敛性

来源：评论

学校读者我要写书评

暂无评论

结构优化问题的惯性邻近类算法研究

结构优化问题的惯性邻近类算法研究

引用

作者：潘梦曦河北工业大学

学位级别：硕士

最近些年,很多出现在机器学习、人工智能中的结构优化问题受到众多学者的广泛关注.他们提出了众多算法求解上述问题,其中邻近算法是最常用的算法之一.然而,随着问题规模的不断变大,原始的邻近方法效率比较低,使用惯性技术加速原始的邻... 详细信息

最近些年,很多出现在机器学习、人工智能中的结构优化问题受到众多学者的广泛关注.他们提出了众多算法求解上述问题,其中邻近算法是最常用的算法之一.然而,随着问题规模的不断变大,原始的邻近方法效率比较低,使用惯性技术加速原始的邻近算法是一种重要的方法.本文主要考虑了两类惯性邻近算法用于求解结构优化问题,并研究了其收敛性与收敛速度,具体内容如下:1.研究了一类惯性邻近梯度算法的收敛性,该算法主要应用于求解一类非光滑凸极小化问题.首先,证明了算法生成的迭代序列的子序列收敛性,进一步,证明了函数值序列的全局收敛速度为O(1/k),最后通过数值实验验证了算法的理论结果.2.利用Heavy Ball惯性技巧提出了一种改进的惯性邻近梯度算法,用来求解一类非光滑非凸极小化问题.利用误差界条件证明了算法生成的迭代序列与函数值序列均为R线性收敛的,最后通过数值实验验证了算法的理论结果.

关键词：惯性技术非光滑非凸问题收敛性分析误差界条件

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：