模型参数训练方法、装置及系统

专利申请号：CN201610279143.X

公 开 号：CN107330516A

发 明 人：林少彬 

代 理 人：刘映东

代理机构：11138 北京三高永信知识产权代理有限责任公司

专利类型：发明专利

申 请 日：20171107

公 开 日：20160429

专利主分类号：G06N3/08(20060101)

关 键 词：模型参数 线程 子集 合并 参数服务器 传输 模型参数训练 信息技术领域 装置及系统 统计 梯度合并 网络开销 训练数据 复杂度 减小 并行 发送 更新 

摘      要：本发明公开了一种模型参数训练方法、装置及系统，属于信息技术领域。所述方法包括：运行多个线程，由所述多个线程分别根据模型参数的初始参数值对不同的子集进行训练，得到所述模型参数的训练参数值；将所述多个线程训练得到的训练参数值进行合并，得到合并参数值；根据所述合并参数值和所述初始参数值，计算所述模型参数的统计梯度；向参数服务器发送所述统计梯度，使得所述参数服务器根据所述统计梯度对所述模型参数进行更新。本发明通过多个线程并行地对不同的子集进行训练并在合并后求取梯度，增加了训练数据的复杂度，能够将不同子集训练的梯度合并传输，而无需将不同子集训练的梯度分别传输，减少了梯度的传输，减小了网络开销。