检索结果-内蒙古大学图书馆

数值计算与计算机应用 1994年第2期15卷 93-105页

作者：卢新明中国科学院应用数学所

求解线性规划的近似牛顿法卢新明（中国科学院应用数学所）ＡＮＡＰＰＲＯＸＩＭＡＴＥＮＥＷＴＯＮＭＥＴＨＯＤＦＯＲＳＯＬＶＩＮＧＬＩＮＥＡＲＰＲＯＧＲＡＭＭＩＮＧ￥ＬｕＸｉｎ－ｍｉｎｇ（ＩｎｓｔｉｔｕｔｅｏｆＡｐｐｌｉｅ... 详细信息

求解线性规划的近似牛顿法卢新明（中国科学院应用数学所）ＡＮＡＰＰＲＯＸＩＭＡＴＥＮＥＷＴＯＮＭＥＴＨＯＤＦＯＲＳＯＬＶＩＮＧＬＩＮＥＡＲＰＲＯＧＲＡＭＭＩＮＧ￥ＬｕＸｉｎ－ｍｉｎｇ（ＩｎｓｔｉｔｕｔｅｏｆＡｐｐｌｉｅｄＭａｔｈｅｍａｔｉｃｓ，Ａｃａｄ...

关键词：线性规划近似牛顿法 Karmarkar

来源：评论

学校读者我要写书评

暂无评论

基于近似牛顿法的分布式卷积神经网络训练

引用

计算机科学 2019年第7期46卷 180-185页

作者：王雅慧刘博袁晓彤南京信息工程大学信息与控制学院南京210044 江苏省大数据分析技术重点实验室南京210044 罗格斯大学计算机科学学院新泽西州08854

大多数机器学习问题可以最终归结为最优化问题(模型学习)。它主要运用数学方法研究各种问题的优化途径及方案,在科学计算和工程分析中起着越来越重要的作用。随着深度网络的快速发展,数据和参数规模也日益增长。尽管近些年来GPU硬件、... 详细信息

大多数机器学习问题可以最终归结为最优化问题(模型学习)。它主要运用数学方法研究各种问题的优化途径及方案,在科学计算和工程分析中起着越来越重要的作用。随着深度网络的快速发展,数据和参数规模也日益增长。尽管近些年来GPU硬件、网络架构和训练方法均取得了重大的进步,但单一计算机仍然很难在大型数据集上高效地训练深度网络模型,分布式近似牛顿法作为解决这一问题的有效方法之一被引入到分布式神经网络的研究中。分布式近似牛顿法将总体样本平均分布到多台计算机,减少了每台计算机所需处理的数据量,使计算机之间互相通信,共同协作完成训练任务。文中提出了基于近似牛顿法的分布式深度学习,在相同的网络中利用分布式近似牛顿法训练,随着GPU数目呈2的指数次幂增加,训练时间呈近乎2的指数次幂减少。这与研究的最终目的一致,即在保证估计精度的前提下,利用现有分布式框架实现近似牛顿法,分布式训练神经网络,从而提升训练效率。

关键词：最优化问题近似牛顿法分布式框架神经网络

来源：评论

学校读者我要写书评

暂无评论

基于近似牛顿法的分布式深度学习

基于近似牛顿法的分布式深度学习

引用

作者：王雅慧南京信息工程大学

学位级别：硕士

在许多机器学习问题中,往往需要解决大规模模型的最优化问题。最优化问题主要研究各种问题的优化途径及方案,在科学计算和工程分析中起着越来越重要的作用。近似牛顿法作为解决这一问题的有效方法,在计算机视觉、统计机器学习、生物信... 详细信息

在许多机器学习问题中,往往需要解决大规模模型的最优化问题。最优化问题主要研究各种问题的优化途径及方案,在科学计算和工程分析中起着越来越重要的作用。近似牛顿法作为解决这一问题的有效方法,在计算机视觉、统计机器学习、生物信息和数据挖掘等领域都有广泛的应用。随着深度网络的快速发展,数据和参数规模也日益增长。近些年来,尽管研究人员在提升GPU硬件性能、完善网络架构和改进训练方法等方面均获得了很大的进步,但是在大型数据集上以单一机器训练深度网络模型仍然十分困难,因此,分布式优化及其在大规模深度网络上的训练一直是深度学习研究领域的挑战性问题。随着深度网络数据量和模型参数量的增加,传统的单机训练存在训练时间长,内存容量有限,而分布式优化方法可以很好的解决这一问题。因此,本文将分布式近似牛顿法算法引入到分布式神经网络研究中。该算法将总体样本平均分布至多台计算机,不但减少了每台计算机所需处理的数据量,而且利用计算机之间互相通信高效完成训练任务。首先,对分布式近似牛顿法同步策略进行Matlab同步并行仿真实验,在实验中均衡地划分数据集,并行地对数据集进行计算,在相同矩阵下,并行优化运行时间相比于串行运行时间大大减少,并且收敛性也能得到保证。其次,本文将分布式近似牛顿法用于训练深度网络。该算法使Parameter server集群中的各个Worker节点利用均等分配的本地数据完成计算,并与Server节点进行通信,得到同步优化的结果。利用分布式近似牛顿法训练相同的深度网络时,随着GPU数目呈2的倍数增加,训练时间呈近乎2的指数次幂减少。这与本文的最终目的一致,即在保证精度的前提下,利用现有分布式框架实现近似牛顿法的深度网络训练,提升运行效率。

关键词：近似牛顿法 Matlab仿真并行优化 Parameter server 深度网络

来源：评论

学校读者我要写书评

暂无评论

非线性互补问题近似Newton法的二阶收敛性

引用

系统科学与数学 1997年第2期17卷 103-109页

作者：李董辉湖南大学应用数学系长沙410082

本文给出了求解非线性互补问题近似Newton法二阶收敛性的一个条件，并且证明了在一定的条件下，有限差分Newton法具有二阶收敛性．

关键词：非线性互补问题收敛性牛顿法近似牛顿法

来源：评论

学校读者我要写书评

暂无评论

基于Adam局部优化的分布式近似牛顿深度学习模型训练

引用

计算机应用与软件 2021年第10期38卷 278-283页

作者：毕常遥袁晓彤南京信息工程大学自动化学院江苏南京210044 江苏省大数据分析技术重点实验室江苏南京210044

分布式学习是减轻现代机器学习系统中不断增加的数据和模型规模压力的有效工具之一。DANE算法是一种近似牛顿方法,已被广泛应用于通信高效的分布式机器学习。其具有收敛速度快且无须计算Hessian矩阵逆的优点,从而可以在高维情况下显著... 详细信息

分布式学习是减轻现代机器学习系统中不断增加的数据和模型规模压力的有效工具之一。DANE算法是一种近似牛顿方法,已被广泛应用于通信高效的分布式机器学习。其具有收敛速度快且无须计算Hessian矩阵逆的优点,从而可以在高维情况下显著减少通信和计算开销。为了进一步提高计算效率,就需要研究如何加快DANE的局部优化。选择使用最流行的自适应梯度优化算法Adam取代常用的随机梯度下降法来求解DANE的局部单机子优化问题是一种可行的方法。实验表明,基于Adam的优化在收敛速度上可以明显快于原始的基于SGD的实现,且几乎不会牺牲模型泛化性能。

关键词：深度学习近似牛顿法分布式优化 Adam算法随机抽样

来源：评论

学校读者我要写书评

暂无评论

基于Adam局部优化的分布式近似牛顿深度网络训练

基于Adam局部优化的分布式近似牛顿深度网络训练

引用

作者：毕常遥南京信息工程大学

学位级别：硕士

分布式学习是减轻现代机器学习系统中不断增加的数据和模型规模压力的有效工具之一。DANE算法是一种近似牛顿方法,已被广泛应用于通信高效的分布式机器学习。与传统方法相比,DANE具有收敛速度快且无需计算Hessian矩阵逆的优点,从而可以... 详细信息

分布式学习是减轻现代机器学习系统中不断增加的数据和模型规模压力的有效工具之一。DANE算法是一种近似牛顿方法,已被广泛应用于通信高效的分布式机器学习。与传统方法相比,DANE具有收敛速度快且无需计算Hessian矩阵逆的优点,从而可以在高维情况下显著减少通信和计算开销。为了进一步提高计算效率,本文研究如何加快DANE的局部优化。本文选择使用最流行的自适应梯度优化算法Adam取代常用的随机梯度下降法用来求解DANE的局部单机子优化问题,同时提出了在迭代期间添加随机采样步骤的方法以降低每次迭代的计算成本并模拟多机计算环境。在实验中,我们设置了三种不同的局部样本大小进行比较。实验结果表明,通过设置合适的抽样比例,基于Adam的优化在训练速度上可以明显快于原始的基于SGD的实现,同时仅会小幅牺牲模型精度。但实验结果也表明使用Adam带来了一定的泛化能力下降。为了解决使用Adam算法所带来的泛化能力不足的问题,本文引入了一种从Adam自适应切换到SGD的混合策略SWATS。实验证明,该策略既能保留Adam算法在训练初始过程的的优势,又能提高训练结果的精度。本文通过MXNet平台将优化后的算法应用于分布式训练。实验结果表明随着并行机器数量的增加,训练的速度明显提高,并且几乎不会牺牲模型泛化能力。

关键词：深度学习近似牛顿法分布式优化 Adam算法随机抽样

来源：评论

学校读者我要写书评

暂无评论

一种空时信号的分布式在线重构算法

引用

桂林电子科技大学学报 2023年第2期43卷 128-134页

作者：池源蒋俊正桂林电子科技大学信息与通信学院广西桂林541004

空时信号的在线重构问题可归结为对差分平滑的时变图信号的恢复问题。对于该凸优化问题,现有的基于梯度下降法的分布式重构算法在优化问题的海森矩阵条件数较大时收敛速度极慢,在单个观测区间内算法最大迭代次数受限时重构误差较大。针... 详细信息

空时信号的在线重构问题可归结为对差分平滑的时变图信号的恢复问题。对于该凸优化问题,现有的基于梯度下降法的分布式重构算法在优化问题的海森矩阵条件数较大时收敛速度极慢,在单个观测区间内算法最大迭代次数受限时重构误差较大。针对该问题,提出了一种基于近似牛顿法的分布式在线重构算法。首先通过子图划分将原优化问题分解为一系列子图上的局部优化问题,并求出该局部问题的解,然后对子图间的局部解作融合平均计算,得到近似的全局最优解,再依据近似解与实际最优解之间的差距,证明以此方式求得的子图划分与融合矩阵具有稀疏性,且可作为原优化问题的海森逆近似矩阵,最后将该近似矩阵替换至经典的牛顿法迭代公式,并利用该近似矩阵的结构化稀疏性实现分布式运算。仿真结果表明,与现有算法相比,该算法收敛速度更快,重构误差更小,所需通信量更少。

关键词：空时信号在线重构分布式算法近似牛顿法子图划分

来源：评论

学校读者我要写书评

暂无评论

基于近似牛顿步的分散求解含固定水头水电厂水-火电力系统最优潮流

基于近似牛顿步的分散求解含固定水头水电厂水-火电力系统最优潮流

引用

中国高等学校电力系统及其自动化专业第20届学术年会

作者：蔡广林韦化广西大学电气工程学院(南宁)

基于近似的牛顿方向,推导出求解含固定水头水电厂的水火电力系统最优潮流(HTOPF)问题的分布式计算算法.利用现代内点算法求解一个调度周期内的各个时段的子问题.仿真结果表明:算法具有良好的收敛特性和合理的计算时间,适合于分布式求解... 详细信息

基于近似的牛顿方向,推导出求解含固定水头水电厂的水火电力系统最优潮流(HTOPF)问题的分布式计算算法.利用现代内点算法求解一个调度周期内的各个时段的子问题.仿真结果表明:算法具有良好的收敛特性和合理的计算时间,适合于分布式求解,对于大规模系统具有应用价值.

关键词：水火电力系统最优潮流内点法近似牛顿法潮流计算

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：