检索结果-内蒙古大学图书馆

中文信息学报 2024年第10期38卷 24-34页

作者：叶俊杰郭军军谭凯文相艳余正涛昆明理工大学信息工程与自动化学院云南昆明650500 云南大学信息学院云南昆明650500

多模态神经机器翻译旨在利用视觉信息来提高文本翻译质量。传统多模态机器翻译将图像的全局语义信息融入翻译模型,而忽略了图像的细粒度信息对翻译质量的影响。对此,该文提出一种基于图文细粒度对齐语义引导的多模态神经机器翻译方法,... 详细信息

多模态神经机器翻译旨在利用视觉信息来提高文本翻译质量。传统多模态机器翻译将图像的全局语义信息融入翻译模型,而忽略了图像的细粒度信息对翻译质量的影响。对此,该文提出一种基于图文细粒度对齐语义引导的多模态神经机器翻译方法,该方法首先采用跨模态交互图文信息,以提取图文细粒度对齐语义信息,然后以图文细粒度对齐语义信息为枢纽,采用门控机制将多模态细粒度信息对齐到文本信息上,实现图文多模态特征融合。在多模态机器翻译基准数据集Multi30K英语到德语、英语到法语以及英语到捷克语翻译任务上的实验结果表明,该文提出的方法是有效的,并且优于大多数先进的多模态机器翻译方法。

关键词：多模态神经机器翻译图文细粒度语义交互对齐语义

来源：评论

学校读者我要写书评

暂无评论

融合覆盖机制的多模态神经机器翻译

引用

中文信息学报 2020年第3期34卷 44-55页

作者：李志峰张家硕洪宇尉桢楷姚建民苏州大学计算机科学与技术学院江苏苏州215006

多模态神经机器翻译是指直接采用神经网络,以端到端方式融合图像和文本两种模态信息,以此进行翻译建模的机器学习方法。传统多模态机器翻译,是在将源语言翻译成目标语言时,借助图像中的重要特征信息优化翻译过程。但是观察发现,图像里... 详细信息

多模态神经机器翻译是指直接采用神经网络,以端到端方式融合图像和文本两种模态信息,以此进行翻译建模的机器学习方法。传统多模态机器翻译,是在将源语言翻译成目标语言时,借助图像中的重要特征信息优化翻译过程。但是观察发现,图像里的信息不一定出现在文本中,对翻译也会带来干扰;与参考译文对比,翻译结果中出现了过翻译和欠翻译的情况。针对以上问题,该文提出一种融合覆盖机制双注意力解码方法,用于优化现有多模态神经机器翻译模型。该模型借助覆盖机制分别作用于源语言和源图像,在注意力计算过程中,可以减少对过去重复信息的关注。在WMT16、WMT17测试集上进行实验,验证了上述方法的有效性,在WMT16英德和英法以及WMT17英德和英法测试集上,对比基准系统BLEU值分别提升了1.2,0.8,0.7和0.6个百分点。

关键词：多模态神经机器翻译覆盖机制过翻译及欠翻译

来源：评论

学校读者我要写书评

暂无评论

双级交互式自适应融合的多模态神经机器翻译

引用

计算机工程与科学 2024年第11期46卷 2071-2080页

作者：杜连成郭军军叶俊杰余正涛昆明理工大学信息工程与自动化学院云南昆明650504 云南省人工智能重点实验室云南昆明650500

多模态神经机器翻译的目标是通过引入其他模态信息来提升纯文本神经机器翻译的质量。图像中包含了实体对象的关系、属性以及空间位置关系等多种语义信息。然而,目前存在的大多数融合方法仅考虑图像的部分视觉信息,忽略了对视觉模态内部... 详细信息

多模态神经机器翻译的目标是通过引入其他模态信息来提升纯文本神经机器翻译的质量。图像中包含了实体对象的关系、属性以及空间位置关系等多种语义信息。然而,目前存在的大多数融合方法仅考虑图像的部分视觉信息,忽略了对视觉模态内部关系的探索,导致视觉信息的利用率较低,无法充分利用图像所包含的全部语义信息。因此,提出了一种双级交互式自适应融合的多模态神经机器翻译方法,该方法考虑了图像不同方面的属性特征,以充分利用图像的视觉信息。实验结果显示,该方法能够有效地利用图像所具有的视觉信息,并且在Multi30K数据集的英语→德语(EN→DE)和英语→法语(EN→FR)2种翻译任务的测试上的效果显著优于当前大多数的效果最优(SOTA)多模态神经机器翻译方法的结果,十分具有竞争力。

关键词：多模态神经机器翻译双视觉特征交互图-文跨模态自适应融合

来源：评论

学校读者我要写书评

暂无评论

融合外部信息的多模态与半参数神经机器翻译研究

融合外部信息的多模态与半参数神经机器翻译研究

引用

作者：王德鑫天津大学

学位级别：硕士

近年来,深度学习驱动的神经机器翻译技术发展迅速,译文质量得到了显著提升。然而,端到端的神经机器翻译在融合外部有效信息方面存在诸多挑战。鉴于此,本文深入分析关于融合外部信息的两个关键问题。首先,为了探索如何有效融合外部模态信... 详细信息

近年来,深度学习驱动的神经机器翻译技术发展迅速,译文质量得到了显著提升。然而,端到端的神经机器翻译在融合外部有效信息方面存在诸多挑战。鉴于此,本文深入分析关于融合外部信息的两个关键问题。首先,为了探索如何有效融合外部模态信息,本文开展多模态神经机器翻译方法研究;其次,为了进一步探索外部信息的高效组织与访问方式,本文开展半参数神经机器翻译方法研究。本文的贡献可概括为两个方面:(1)现有基于图像的多模态神经机器翻译前沿研究中面临跨模态对齐问题,辅助的视觉特征倾向于被翻译模型视为冗余信息。针对这个问题,本文设计一种新的基于视觉实体掩码的多模态神经机器翻译模型,旨在增强多模态神经机器翻译中的视觉对齐与理解能力。在该模型中,本文提出两种新的辅助函数,分别是视觉实体遮蔽损失函数和视觉加权翻译损失函数,突出多模态神经机器翻译模型对视觉信息的关注度,以此优化多模态神经机器翻译模型的视觉文本对齐能力。在多个多模态机器翻译基准数据集上的实验结果,表明本文所提的方法有效地促进了视觉与文本的融合,改善了视觉实体和源语言文本的注意力分布,从而提升多模态模型的翻译性能。(2)现有的基于检索的半参数化神经机器翻译方法的有效性受限于检索模块的文本模态语义特征数据存储库,然而,已有的工作缺乏对语义特征数据存储库的分析。针对这个问题,本文提出了一种新的基于聚类的k近邻神经机器翻译模型。本文率先研究数据存储库的特征分布,从特征压缩和数据裁剪两个维度优化半参数神经机器翻译模型的性能。首先,本文结合对比学习提出了一个轻量级的紧凑网络,在压缩语义特征的同时提高语义特征的可分性;其次,本文结合聚类信息,提出了新的裁剪策略,降低检索模块的冗余度。大量实验表明,本文所提的模型在减少90%的语义特征维数的条件下依然超越了最优的半参数化神经机器翻译方法;其次,本文的裁剪策略在去除数据存储库中10%～40%的冗余键对时,依然保持了原有的翻译质量。最终,在减少至多57%的翻译延迟的情况下,本文所提的方法取得了与最优基准模型相比更好或可比的翻译性能。

关键词：多模态神经机器翻译半参数化神经机器翻译自然语言处理

来源：评论

学校读者我要写书评

暂无评论

基于图文交互增强低资源神经机器翻译方法研究

基于图文交互增强低资源神经机器翻译方法研究

引用

作者：霍茜曈昆明理工大学

学位级别：硕士

神经机器翻译技术已经在生产生活中占有重要地位,尤其随着国家与国家的联系更加紧密,世界趋向整个经济体的今天,机器翻译有较强应用价值。然而神经机器翻译模型性能依赖于大量高质量平行语料随,因此某些低资源翻译语种对难以达到高资源... 详细信息

神经机器翻译技术已经在生产生活中占有重要地位,尤其随着国家与国家的联系更加紧密,世界趋向整个经济体的今天,机器翻译有较强应用价值。然而神经机器翻译模型性能依赖于大量高质量平行语料随,因此某些低资源翻译语种对难以达到高资源语种对翻译效果。然而这些语种的翻译任务跟随经济发展的脚步发展的格外重要,例如着我国与东南亚国家的交流合作发展,语言壁垒成了急需克服的障碍,然而东南亚语言的翻译任务因为资源较少,可获取公共翻译引擎较少且翻译效果差强人意。因此低资源语言的翻译方法至关有重要的现实研究意义。同时,低资源神经机器翻译也是一个被研究多年的学术难题,已有许多方法方向对这一难题展开研究,具有客观学术价值。图像是一种语言无关的模态,可以跨越语言之间的语义鸿沟,且包括丰富的词级或实体信息。低资源语言翻译的难点在于可用资源较少,在已有低资源翻译方法中,并没有充分的使用图像这一可以跨越语言壁垒的资源,因此本文立足于图像信息可以拉近不同语言信息并可以补充文本信息没有的信息这一特点将图像信息用图文检索,多模态门控信息增强等方式融入低资源神经机器翻译的任务中,主要完成了下述工作:(1)图文数据细粒度检索及预处理:针对已有数据集中部分语种缺少细粒度图文匹配数据的问题,提出了基于已有图像语义描述句子提取名词和动词作为图像标签进行文字检索图像的检索方法。建立了英语-越南语图像-文本平行数据集。并对图像数据和文本数据进行了数据预处理及特征提取的操作为后续研究提供数据。(2)基于图文多模态门控增强的文本平行句对抽取方法研究:已有平行句对抽取方法中,主要凭借句子全局语义特征判断句子间语义相关程度,而对词级实体级等细粒度信息考虑不足,使得获取的平行句对在词级粒度对齐存在噪声。针对这一问题提出了融入细粒度语义相关图像信息辅助平行句对判断的方法。论文以图像模态为双语对齐的锚点,基于多模态门控增强实现了图像模态信息在双语表征端的自适应融合,最终实现平行句对的判别。且论文方法无需提前进行图像和文本的对齐标注。所提方法的思路为:首先从预构建好的图像数据库中基于词级或实体粒度对齐抽取源语言和目标语言的相关的图像模态信息;然后基于图文多模态门控的方式分别实现源语言和目标语言图文信息的融合,获得图像增强后的文本语义表征;最后将双语表征信息进行融合实现平行句对抽取。所提方法在英语-越南语、英语-德语双语平行句对抽取任务上进行了实验,证明了融合图像信息对文本平行句对抽取的有效性。(3)基于多模态预训练知识增强的低资源神经机器翻译方法研究:针对低资源神经机器翻译模型在不同语种语义空间对齐效果不佳的问题,论文以多模态语义表征为枢轴缩小跨语言语义鸿沟,提出一种基于图文多模态预训练知识增强的低资源神经机器翻译框架,利用多模态语义表征拉近双语语义空间距离,缩小双语语言壁垒。首先将源语言句子基于跨模态预训练模型和Transformer编码模块分别进行表征;然后基于跨模态注意力机制实现多模态预训练知识与源语言语义空间的对齐,构建融合多模态特征的源语言表征编码器;最后构建源语言与多模态知识双通道解码器,自适应的实现多模态特征指导下的低资源机器翻译。所提方法基于IWSLT英越、英德数据集的实验结果证明了本文所题方法的有效性,多模态预训练知识可以有效提升低资源文本机器翻译的性能。(4)基于图像增强的低资源神经机器翻译原型系统:论文设计了一个基于图像增强的低资源神经机器翻译原型系统,该系统集成文字细粒度检索语义相关图像功能,平行句对判断功能,机器翻译功能等,进行了合理系统架构并为用户提供可视化交互界面,进行了用户友好设计。

关键词：多模态神经机器翻译图文多模态门控多模态预训练模型数据增强图文特征对齐

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：