连续语音识别中的循环神经网络语言模型技术研究

作     者：张剑 

作者单位：解放军信息工程大学 

学位级别：硕士

导师姓名：屈丹;张文林

授予年度：2014年

学科分类：0711[理学-系统科学] 07[理学] 

主      题：连续语音识别 统计语言模型 循环神经网络 N-best重打分 上下文向量 语言模型自适应 

摘      要：语言模型是连续语音识别系统的重要组成部分,是语言知识最主要的表示形式,对识别性能的好坏有很大的影响。其中,应用最广泛的是n-gram语言模型。近年来,深度神经网络技术逐渐兴起,并应用于语音识别的各个方面,为语音识别技术带来了新一轮的突破。神经网络语言模型是其中一个重要的研究方向。经过十余年的发展,神经网络语言模型技术取得了丰硕的成果,进入到一个比较成熟的阶段。其中,最具代表性的是循环神经网络语言模型。循环神经网络语言模型具有优越的性能,在语音识别、机器翻译、信息检索等自然语言处理任务中得到广泛的应用,受到了广泛的关注。本文主要对语音识别中的循环神经网络语言模型的解码算法、长距离依赖以及语言模型自适应等问题进行研究,主要的工作如下：针对语音识别中现有的Lattice解码算法难以融合循环神经网络语言模型的问题,提出一种基于N-best的二次解码重打分算法,引入循环神经网络语言模型概率得分,对识别的中间结果进行重打分。并针对识别时测试数据与训练数据不匹配的问题,提出结合缓存循环神经网络模型的方法对解码过程进行优化,提高语言模型在测试数据上词序列概率计算的准确性。实验结果证明,本文提出的方法可以有效提高识别系统在测试集上的性能。提出一种基于上下文词向量特征的循环神经网络语言模型改进方法。对循环神经网络模型结构加以改进,在输入层中增加特征层。在模型训练时,通过特征层加入上下文相关的词向量,获取更多的长距离信息,增强网络对长距离约束的学习能力。有效解决了消失梯度问题所造成的原有模型对长距离约束获取能力不足的问题。通过实验证明本文方法可以有效提高循环神经网络语言模型的性能,降低识别系统的词错误率。最后,针对语言模型对不同语料适应性差的问题,提出一种基于循环神经网络语言模型的自适应方法。由于模型参数的不同,原有n-gram中常用的自适应方法并不适用于神经网络语言模型,因而需要一种新的自适应方法。文中利用自适应数据对通用背景模型的参数进行调整,并提取自适应数据中的主题特征加入循环神经网络语言模型的自适应训练,增强模型对自适应语料的描述能力,提高语言模型在不同语料下的适应性。实验结果表明,本文方法能够改善系统的识别效果。