基于分布式神经网络的语言模型训练方法及其系统

专利申请号：CN201410067916.9

公 开 号：CN103810999A

发 明 人：刘荣 王东 郑方 

代 理 人：刘晶婷

代理机构：11303 北京方韬法业专利代理事务所

专利类型：发明申请

申 请 日：20140521

公 开 日：20140227

专利主分类号：G10L15/06(20130101)

关 键 词：词表 网络语言 神经 归一化 训练 分布式神经网络 神经网络的学习 神经网络训练 语言模型训练 机器翻译 神经网络 输入模块 相关应用 学习训练 语音识别 准确率 向量 合并 学习 共享 

摘      要：本发明是有关于一种基于分布式神经网络的语言模型训练方法及其系统，该方法包括：将大词表拆分为多个小词表；将每个小词表对应一个神经网络语言模型，每个神经网络语言模型的输入维数相同且独立进行第一次训练；将各神经网络语言模型的输出向量合并并进行第二次训练；得到归一化的神经网络语言模型。该系统包括：输入模块、第一次训练模块、第二次训练模块和输出模块。本发明通过多个神经网络训练学习不同词表，充分利用神经网络的学习能力，大大降低对大词表学习训练的时间，同时将大词表的输出进行归一化，实现多个神经网络的归一和共享，使得NNLM尽可能学习更多的信息，从而提高大规模语音识别和机器翻译等相关应用任务中的准确率。