带大量凸约束的随机优化问题的随机增广拉格朗日算法

作     者：赵文深 韩丛英 金玲子 ZHAO Wenshen;HAN Congying;JIN Lingzi

作者机构：中国科学院大学数学科学学院北京100049 

出 版 物：《中国科学院大学学报(中英文)》 (Journal of University of Chinese Academy of Sciences)

年 卷 期：2025年第42卷第1期

页      面：26-42页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 07[理学] 070105[理学-运筹学与控制论] 0701[理学-数学] 

基　　金：国家电网公司总部科技项目(5700-202055486A-0-0-00)资助 

主　　题：随机梯度法 增广拉格朗日法 非线性优化 约束优化 

摘      要：随机梯度法广泛应用于机器学习并取得显著成功,但许多随机方法主要针对无约束或简单约束的优化问题。对于带有正则项和大量凸约束的非凸随机优化问题,经典增广拉格朗日法是一种解法,但精确梯度信息的要求使其难以有效应对大量约束问题。为此,提出一种随机增广拉格朗日算法,该算法用随机一阶信息代替增广拉格朗日法的精确梯度,每步迭代仅使用一组抽样梯度和部分的约束梯度。对该算法,证明其可以在■(∈^(-8))次方后找到-KKT近似点。在多分类Neyman-Pearson问题上进行数值实验,实验结果验证了算法的有效性。