面向深度学习的去中心化并行梯度下降训练方法和系统

专利申请号：CN202310935188.8

公 开 号：CN116894461A

发 明 人：刘斌 高昊元 纪泽宇 张海曦 刘启彤 

代 理 人：钱宇婧

代理机构：西安通大专利代理有限责任公司

专利类型：发明专利

申 请 日：20231017

公 开 日：20230727

专利主分类号：G06N3/0464

关 键 词：权重 并行训练 管道通信 缓冲 收敛 通信 神经网络模型 分布式系统 全局最优解 并行梯度 工作节点 计算操作 快速训练 神经网络 网络模型 信息交换 训练过程 硬件设备 并行化 中心化 最大化 解耦 学习 并行 分解 保证 

摘      要：本发明提出了一种面向深度学习的去中心化并行梯度下降训练方法和系统，该方法属于深度学习并行化领域，提出了基于历史权重的预训练、管道通信和基于缓冲权重的并行训练相结合的方法，实现了加速分布式系统训练深度神经网络的过程。该方法旨在为分布式深度学习任务提供更高效的训练方式，实现对深度神经网络模型的快速训练。建立基于历史权重的预训练方法，保证了模型收敛的稳定性，使得网络模型在训练过程中更加稳健地收敛于全局最优解。管道通信机制，分解了通信任务，增加了通信的并行粒度，提高了工作节点之间的信息交换效率。利用基于缓冲权重的并行训练方法，实现通信和计算操作的解耦，最大化硬件设备算力资源的利用率。