检索结果-内蒙古大学图书馆

北京大学学报（自然科学版） 2022年第1期58卷 29-36页

作者：王倩李茂西吴水秀王明文江西师范大学计算机信息工程学院南昌330022

探索将XLM-R跨语种预训练语言模型应用在神经机器翻译的源语言端、目标语言端和两端,提高机器翻译的质量。提出3种网络模型,分别在Transformer神经网络模型的编码器、解码器以及两端同时引入预训练的XLM-R多语种词语表示。在WMT英语-德... 详细信息

探索将XLM-R跨语种预训练语言模型应用在神经机器翻译的源语言端、目标语言端和两端,提高机器翻译的质量。提出3种网络模型,分别在Transformer神经网络模型的编码器、解码器以及两端同时引入预训练的XLM-R多语种词语表示。在WMT英语-德语、IWSLT英语-葡萄牙语以及英语-越南语等翻译中的实验结果表明,对双语平行语料资源丰富的翻译任务,引入XLM-R可以很好地对源语言句子进行编码,从而提高翻译质量;对双语平行语料资源匮乏的翻译任务,引入XLM-R不仅可以很好地对源语言句子进行编码,还可以对源语言端和目标语言端的知识同时进行补充,提高翻译质量。

关键词：跨语种预训练语言模型神经机器翻译 Transformer网络模型 XLM-R模型微调

来源：评论

学校读者我要写书评

暂无评论

基于跨语种预训练语言模型XLM-R的神经机器翻译方法

基于跨语种预训练语言模型XLM-R的神经机器翻译方法

引用

作者：王倩江西师范大学

学位级别：硕士

机器翻译是指通过计算机技术将一种语言翻译成另一种语言,它是自然语言处理领域的研究热点之一。引入机器翻译可以为实现跨语言交流、解决不同语言沟通障碍问题提供技术支撑,其研究具有重要的理论意义和实际应用价值。随着深度学习方法... 详细信息

机器翻译是指通过计算机技术将一种语言翻译成另一种语言,它是自然语言处理领域的研究热点之一。引入机器翻译可以为实现跨语言交流、解决不同语言沟通障碍问题提供技术支撑,其研究具有重要的理论意义和实际应用价值。随着深度学习方法的发展,神经机器翻译模型是目前性能最好的,但为了提高翻译性能,模型参数量不断增大,需要更多数据集来训练模型参数。对于有监督的神经机器翻译任务而言,构建大规模、高质量的双语平行语料成本十分昂贵,但大规模的单语语料库构建相对容易。受预训练语言模型在自然语言理解任务上成功应用的启发,越来越多学者提出将在大规模单语语料上预训练获取的通用的语言表示引入机器翻译中,以提高机器翻译的质量。近年来,跨语种预训练语言模型XLM-R取得了蓬勃的发展。该模型合并多种大规模单语语料进行联合训练,预训练后的词语表示在下游多语言文本理解任务中的应用显著提高了系统性能。本文尝试将跨语种预训练语言模型XLM-R应用在当前主流的神经机器翻译模型Transformer上,并提出了三种模型,分别是:(1)将XLM-R模型应用在源语言端,替代原始的Transformer编码器;(2)将XLM-R模型应用在目标语言端,通过构建额外的解码器模块(注意力机制和前馈神经网络的组合)来关联源语言信息;(3)将XLM-R模型同步应用在源语言端和目标语言端。实验分析了三种网络参数训练策略对模型性能的影响,分别是:冻结XLMR模型参数的训练方法,先冻结XLM-R模型参数进行训练、然后再微调的训练方法,以及直接微调整个模型参数的训练方法。接着在WMT英语-德语和IWSLT英语-葡萄牙语、英语-越南语等翻译方向上对所提三个模型的性能进行了验证和分析。实验结果表明,对双语平行语料资源丰富的翻译任务WMT英语-德语,引入XLM-R可以很好地对源语言句子进行编码,该模型在BLEU评价指标上优于Transformer base模型1.85分,显著提高了翻译质量;而对双语平行语料资源匮乏的翻译任务IWSLT英语-葡萄牙语、英语-越南语,引入XLM-R不仅可以很好地对源语言句子进行编码,还可以对源语言端和目标语言端知识同时进行补充,该模型在BLEU评价指标上分别优于Transformer base模型3.09分、4.86分,显著提高了翻译质量。

关键词：神经机器翻译 Transformer模型跨语种预训练语言模型 XLM-R模型微调

来源：评论

学校读者我要写书评

暂无评论

融合XLM词语表示的神经机器译文自动评价方法

引用

中文信息学报 2023年第9期37卷 46-54页

作者：胡纬李茂西裘白莲王明文江西师范大学计算机信息工程学院江西南昌330022 江西开放大学现代教育技术中心江西南昌330046 江西师范大学管理科学与工程研究中心江西南昌330022

机器译文自动评价对机器翻译的发展和应用起着重要的促进作用,其一般通过计算机器译文和人工参考译文的相似度来度量机器译文的质量。该文通过跨语种预训练语言模型XLM将源语言句子、机器译文和人工参考译文映射到相同的语义空间,结合... 详细信息

机器译文自动评价对机器翻译的发展和应用起着重要的促进作用,其一般通过计算机器译文和人工参考译文的相似度来度量机器译文的质量。该文通过跨语种预训练语言模型XLM将源语言句子、机器译文和人工参考译文映射到相同的语义空间,结合分层注意力和内部注意力提取源语言句子与机器译文、机器译文与人工参考译文以及源语言句子与人工参考译文之间的差异特征,并将其融入基于Bi-LSTM神经译文自动评价方法中。在WMT 19译文自动评价数据集上的实验结果表明,融合XLM词语表示的神经机器译文自动评价方法显著提高了其与人工评价的相关性。

关键词：机器翻译译文自动评价跨语种预训练语言模型差异特征

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：