检索结果-内蒙古大学图书馆

作者：袁嘉琪郑州轻工业大学

学位级别：硕士

多模态神经机器翻译性能的提升在很大程度上依赖于大规模且丰富多样的训练数据,然而收集并精确地标记这类多模态数据是一项耗时费力的任务,尤其是在自然语言处理和计算机视觉领域,由于数据的复杂性和多样性,构建大规模高质量的标记数据... 详细信息

多模态神经机器翻译性能的提升在很大程度上依赖于大规模且丰富多样的训练数据,然而收集并精确地标记这类多模态数据是一项耗时费力的任务,尤其是在自然语言处理和计算机视觉领域,由于数据的复杂性和多样性,构建大规模高质量的标记数据提升多模态机器翻译性能常常面临困难。首先,模型复杂度过高、参数规模庞大往往会导致人工标注所需的数据成本显著提升,以及如何有效利用有限且珍贵的数据资源以突破性能瓶颈,成为了当前研究与实践领域亟待解决的重要课题;其次,生成的视觉信息在整合不同模态信息时可能存在的效率低下和深度融合不足的问题。基于上述分析,本研究按照以下两方面开展: 1.本文提出了一种新的数据标注和知识蒸馏方法。利用预先训练好的文本到图像生成模型得到标注数据,这种模型能够在给定任意文本输入的情况下,自动生成与文本语义相对应的视觉图像。扩展了单一文本信息的空间维度,同时也降低了对大规模人工标注图像数据的依赖,间接地缓解了数据获取成本高的问题。对比搭建一个能够无缝对接和同步处理文本与图像信息的高阶认知平台,不仅能够精确捕获文本的深层语义特征,还能借助先进的文本到图像生成技术生成与文本高度相关且细节丰富的视觉内容通过运用知识蒸馏这一关键技术手段来优化模型训练参数,特别是在面对多模态机器翻译任务中数据获取成本过高的问题时,该策略展现出了显著的优势,通过模型压缩和迁移学习的技术,允许将一个大型复杂的教师模型的知识“蒸馏”至一个较小的学生模型中,从而使学生模型在有限的数据和计算资源下也能达到接近或逼近教师模型的性能水平。本研究方法在包括Multi30k、Global Voice等多个数据集上验证有效性,相比纯文本翻译任务在BLEU评分指标上平均提高了3.64%。 2.本文提出了一种改进视觉信息与文本信息的融合机制,该方法是更为精细和灵活的融合策略,利用上下文引导将生成的图像特征与原始文本特征在多层次、多粒度上进行深度交互和联合编码,进一步强化了两者之间的内在关联性和互补性,使得文本和由此生成的图像信息能够更加紧密、准确地相互作用,从而显著提升了整个系统的多模态理解能力和实际应用效果。针对多模态机器翻译任务对比Test2016和Test2017英语到德语分别提升2.57、2.3个BLEU值;en-de以及en-js的评分指标上分别达到3.11、4.09个BLEU值的提升。

关键词：多模态知识蒸馏生成信息融合多模态机器翻译

来源：评论

学校读者我要写书评

暂无评论

视觉特征与语义信息融合的多模态机器翻译研究

视觉特征与语义信息融合的多模态机器翻译研究

引用

作者：余振强郑州轻工业大学

学位级别：硕士

多模态机器翻译是指在纯文本语料翻译的基础上,将其他模态的信息与文本信息融合,以提高机器翻译的质量。对现有多模态机器翻译研究工作进行分析,可以发现目前的研究工作存在一些问题。第一:目前的研究工作都集中在语言资源丰富的语言上... 详细信息

多模态机器翻译是指在纯文本语料翻译的基础上,将其他模态的信息与文本信息融合,以提高机器翻译的质量。对现有多模态机器翻译研究工作进行分析,可以发现目前的研究工作存在一些问题。第一:目前的研究工作都集中在语言资源丰富的语言上,而针对语言稀缺的低资源语言的研究工作较少;第二:大量的研究工作都是在寻求视觉信息和文本信息的融合,但是在融合的过程中忽略了双语文本信息与视觉在编码与解码是语义一致的问题;第三:目前的研究工作都是基于人工标注的数据集,采用人标注数据能够确保数据的相对准确性,但是人工标注的成本高,资金消耗大,也在一定程度上影响多模态机器翻译研究工作的发展。针对以上的问题,本文开展了以下研究工作:1.本文提出改进低资源语言的多模态机器翻译框架。我们使用不同的模型进行图像特征信息提取,在翻译的文本编码过程中将视觉特征与文本信息融合,辅助翻译模型进行翻译,并且选用低资源语料进行实验研究。此外,我们还分析了不同模型提取的图像特征信息对翻译结果的影响。通过实验结果可知,我们的方法能够有效的提高低资源语言的翻译质量。2.本文提出在编码器-解码器端添加视觉注意力,以融合视觉信息的多模态机器翻译框架。该方法在编码器和解码器中同时集成视觉信息,以学习视觉和文本特征之间的交互。由于视觉信息提供全局上下文,编码器和解码器可以学习双语表示。此外,我们还引入了一种新的双语视觉一致解码器,以学习更好地表示相应的图像-句子对。实验结果表明,我们提出的方法能够有效的利用视觉信息提升机器翻译的效果。3.本文提出文本-图像检索的方法,利用文本-图像特征编码进行相似度求解,来解决人工标注数据的问题。该方法对文本和图像进行编码,将它们映射到向量空间,利用余弦相似度得到与文本相似度最大的图像。然后对匹配的图像进行特征信息提取,辅助系统翻译。实验结果表明,我们的方法可以有效地改进纯文本机器翻译结果,缓解数据标注困难的问题,也验证了我们所提出的方法有效。

关键词：多模态视觉信息信息融合低资源语言文本-图像匹配多模态机器翻译

来源：评论

学校读者我要写书评

暂无评论

基于图像搜索引擎的通用多模态机器翻译视觉表征研究

基于图像搜索引擎的通用多模态机器翻译视觉表征研究

引用

作者：唐振浩深圳大学

学位级别：硕士

神经机器翻译(Neural Machine Translation,NMT)是自然语言处理领域的一个非常重要的分支,它旨在使用计算机程序自动完成人类语言的翻译。多模态神经机器翻译(Multimodal Neural Machine Translation,MNMT)是机器翻译研究领域中一个比... 详细信息

神经机器翻译(Neural Machine Translation,NMT)是自然语言处理领域的一个非常重要的分支,它旨在使用计算机程序自动完成人类语言的翻译。多模态神经机器翻译(Multimodal Neural Machine Translation,MNMT)是机器翻译研究领域中一个比较新颖和有趣的研究分支,其主要思想为在神经机器翻译模型中加入图像信息以辅助生成翻译结果。近年来,已有大量的实验表明,图像信息能够帮助神经机器翻译模型产生更加准确的翻译结果。然而,这些结论大多都来自一个公开的多模态机器翻译语料库Multi30K,这个语料库包含了29000条双语平行数据,并且人工的为其中每一个平行语料挑选了一张与之匹配的图像。对于多模态机器翻译而言,这个数据存在着诸多缺陷:(1)Multi30K数据集中构成文本数据的单词大多都是日常生活中频繁出现和使用的,对于机器翻译模型来讲并不具有太高的难度,也就更难体现多模态机器翻译模型的优势;(2)Multi30K数据集中与文本搭配的图像所描绘的内容较为单一,很难验证复杂图像在神经机器翻译模型中产生的效果;(3)Multi30K数据集中针对每一组文本语料搭配的图像信息是经过人工精心挑选出来的,和文本内容的匹配度极高,在此理想状态下的数据集中得出的实验结论较难将多模态机器翻译模型的优势推广到更多更复杂的应用场景中,因为在更多情况之下,图文的匹配关系多是较为模糊的,甚至在图像中很可能包含着部分噪声信息干扰翻译模型。因此,针对以上情况,本文的主要工作和贡献包含了以下几个部分: 第一,针对现有的多模态机器翻译数据集的问题。本文提出一种通用的多模态图像数据构建方法,该方案能够通过搜索引擎图像检索功能为机器翻译数据集扩充丰富的图像信息,多模态机器翻译的实验与研究将不再被局限于现有的Multi30K数据集之中。面对该方法获得的图像信息,其中不可避免的存在着噪声,文本对此进一步提出基于文本注意力机制的图像信息过滤网络,该网络结构在多模态机器翻译模型中经过验证能够有效的避免噪声图像对翻译模型的影响。第二,通过实验发现上述多模态图像数据构建方法对于图像噪声较为敏感。对于图像噪声的过滤问题,本文将目标检测任务融合注意力机制用于图像噪声的过滤,相比于基于文本信息的图像噪声过滤网络,目标检测模型的先验知识能够一定程度上对图像重要区域进行筛选,不再完全依赖注意力网络,实验证明该方法能够更有效的抑制图像噪声对翻译模型的干扰。

关键词：神经机器翻译多模态机器翻译多模态翻译数据构建图文注意力机制

来源：评论

学校读者我要写书评

暂无评论

变分多模态机器翻译研究

变分多模态机器翻译研究

引用

作者：刘啸华东师范大学

学位级别：硕士

多模态机器翻译旨在将图像、语音等多模态数据融入机器翻译算法,消除纯文本数据中的歧义,补充低资源场景下的机器翻译数据集,增强机器翻译系统的性能与鲁棒性。然而,语言的歧义性导致了数据的语义存在不确定性,同时,多模态数据存在冗余... 详细信息

多模态机器翻译旨在将图像、语音等多模态数据融入机器翻译算法,消除纯文本数据中的歧义,补充低资源场景下的机器翻译数据集,增强机器翻译系统的性能与鲁棒性。然而,语言的歧义性导致了数据的语义存在不确定性,同时,多模态数据存在冗余信息。这些问题影响着多模态机器翻译系统的性能。捕捉句子的潜在语义关系有助于机器翻译。变分神经机器翻译方法通过引入潜在变量,为语言中潜在语义的不确定性建模提供了一种有效的方法。本文在变分框架下提出了一种新的适应任意神经网络结构的多模态机器翻译算法,称为变分多模态机器翻译算法,该算法建模了视觉和文本语义中的不确定性。该算法仅依赖于源数据构造变分分布,可以消除现有变分机器翻译技术中训练过程和预测过程之间的差异。本文提出的多模态机器翻译算法采用多任务学习来融合多模态信息,以语义先验分布统一多模态语义空间,并约束了不同模态数据的语义后验到语义先验的距离。此外,本文在变分编码器解码器模型中采用信息瓶颈理论,帮助编码器过滤冗余信息,使解码器专注于处理有用信息。最后,本文在变分模型中引入对比学习机制,实现了一种自监督的多模态机器翻译算法。该算法能学习到优质的潜在语义特征,适应低资源机器翻译的场景。多模态机器翻译实验表明,本文提出的算法在多模态数据集的德语到英语机器翻译中具有较强的竞争力。

关键词：多模态机器翻译变分神经机器翻译信息瓶颈对比学习

来源：评论

学校读者我要写书评

暂无评论

基于跨模态交互和分层预训练的多模态机器翻译研究

基于跨模态交互和分层预训练的多模态机器翻译研究

引用

作者：李志峰苏州大学

学位级别：硕士

多模态神经机器翻译任务旨在理解输入端的语义,以端到端方式融合图像和文本两种模态信息,以此实现源语言到目标语言的翻译。传统多模态机器翻译,在将源语言翻译成目标语言时,借助图像中的重要特征信息优化翻译过程。通过观察发现,虽然... 详细信息

多模态神经机器翻译任务旨在理解输入端的语义,以端到端方式融合图像和文本两种模态信息,以此实现源语言到目标语言的翻译。传统多模态机器翻译,在将源语言翻译成目标语言时,借助图像中的重要特征信息优化翻译过程。通过观察发现,虽然图像中包含丰富信息,但是当图像特征与源语言描述不匹配时,对翻译会带来干扰和噪音。且之前多模态机器翻译系统的翻译结果尽管有着较好的可读性,但在表达力上,有着明显的欠缺,主要的不足为:翻译结果中会出现过翻译或欠翻译的情况,一些歧义词翻译效果欠佳;翻译结果的充分性不足,例如,源语言中一些主题信息、实体信息和场景信息无法正确翻译;翻译结果的流畅性不足,例如,源语言中一些连词、方位词、衔接词没有很好地翻译。针对上述问题,本文提出基于跨模态交互和分层预训练的方法,充分利用图像中有效信息辅助翻译,以减少翻译结果中过翻译或欠翻译的情况。实现系统翻译较复杂的主题或场景描述时,其翻译结果在充分性和流畅性方面仍表现较好,具体研究内容包括以下三个方面:(1)融合覆盖机制的多模态机器翻译研究现有多模态机器翻译,在将源语言翻译成目标语言时,借助图像中的重要特征信息优化翻译过程。通过观察发现,图像里的信息不一定出现在文本中,对翻译也会带来干扰;与参考译文对比,翻译结果中出现了过翻译或欠翻译的情况。针对以上问题,本文提出一种融合覆盖机制双注意力解码方法,用于优化现有多模态神经机器翻译模型。该模型借助覆盖机制分别作用于源语言和源图像,在注意力计算过程中,可以减少对之前时刻重复信息的关注。本文在Multi30k数据集上进行实验,验证了上述方法的有效性,在Multi30k-16英德和英法以及Multi30k-17英德和英法测试集上,对比基准系统BLEU-4值分别提升了1.2,0.8,0.7和0.6个百分点。(2)基于上下文门控的多模态机器翻译研究上一研究中,虽然减少了对重复信息的关注,但是其利用的图像特征为全局特征,和源语言描述不相关的图像特征会带来噪声,且没有充分利用不同上下文间细粒度的语义相关性。针对以上问题,本文提出一种基于门控机制多模态信息融合的翻译方法,用于优化现有多模态翻译模型。该模型通过源上下文门控调整图像特征和每个源语言词的重要度,过滤掉图像中不相关的特征;通过目标上下文门控动态调整源端上下文和目标端上下文对翻译结果的贡献度,从而有效提高翻译结果的忠实度和流畅度。本文在Multi30k-16英德和英法以及Multi30k-17英德和英法数据集上进行实验,对比基准系统BLEU-4值分别提升了1.3,1.0,1.5和1.4个百分点。(3)基于分层预训练的多模态机器翻译研究上述研究工作翻译结果的忠实度或流畅度有了一定的提升。虽然取得了初步的效果,即在最终的目标语言中一些常见的主题信息,实体或场景信息可以正确翻译,但遇到一些较复杂主题或场景时,翻译结果离目标答案差距较大。因此,本文提出一种融合预训练知识跨模态交互方法,通过多模态预训练的方法引入预训练知识,且通过跨模态交互方法动态调整预训练知识在编码端和解码端的贡献度,生成包含多类别主题或场景信息的目标语言。本文在Multi30k-16英德和英法以及Multi30k-17英德和英法数据集上进行实验,对比基准系统BLEU-4值分别提升了1.5,1.7,1.2 和 1.4 个百分点。本文通过以上方法,从多模态信息有效融合和预训练方法学习的角度,一定程度上优化了目前多模态机器翻译中充分性或流畅性表达欠佳的问题。最后,本文方法在Multi30k-16英德和英法以及Multi30k-17英德和英法数据集上BLEU-4值分别达到40.7%,33.6%,62.5%和54.3%。

关键词：多模态机器翻译覆盖机制上下文门控分层预训练忠实度及流畅度

来源：评论

学校读者我要写书评

暂无评论

融合图像注意力的多模态机器翻译模型

引用

中文信息学报 2020年第7期34卷 68-78页

作者：李霞马骏腾覃世豪广州市非通用语种智能处理重点实验室广东广州510006 广东外语外贸大学信息科学与技术学院广东广州510006

已有工作表明,融入图像视觉语义信息可以提升文本机器翻译模型的效果。已有的工作多数将图片的整体视觉语义信息融入到翻译模型,而图片中可能包含不同的语义对象,并且这些不同的局部语义对象对解码端单词的预测具有不同程度的影响和作... 详细信息

已有工作表明,融入图像视觉语义信息可以提升文本机器翻译模型的效果。已有的工作多数将图片的整体视觉语义信息融入到翻译模型,而图片中可能包含不同的语义对象,并且这些不同的局部语义对象对解码端单词的预测具有不同程度的影响和作用。基于此,该文提出一种融合图像注意力的多模态机器翻译模型,将图片中的全局语义和不同部分的局部语义信息与源语言文本的交互信息作为图像注意力融合到文本注意力权重中,从而进一步增强解码端隐含状态与源语言文本的对齐信息。在多模态机器翻译数据集Multi30k上英语—德语翻译对以及人工标注的印尼语—汉语翻译对上的实验结果表明,该文提出的模型相比已有的基于循环神经网络的多模态机器翻译模型效果具有较好的提升,证明了该模型的有效性。

关键词：多模态机器翻译图像注意力图像全局语义图像局部语义

来源：评论

学校读者我要写书评

暂无评论

基于协同表示学习的多模态机器翻译方法研究

基于协同表示学习的多模态机器翻译方法研究

引用

作者：谭亮武汉理工大学

学位级别：硕士

随着经济全球化的日益加深，机器翻译（Machine Translation,简称MT）在许多国际舞台上扮演着不可或缺的角色，成为突破不同语言交流障碍的重要手段。在大规模语料库和计算能力有限的条件下，基于神经网络的机器翻译方法能够通过编码器... 详细信息

随着经济全球化的日益加深，机器翻译（Machine Translation,简称MT）在许多国际舞台上扮演着不可或缺的角色，成为突破不同语言交流障碍的重要手段。在大规模语料库和计算能力有限的条件下，基于神经网络的机器翻译方法能够通过编码器-解码器架构完成源语言序列到目标语言序列的直接映射，从而获得比统计机器翻译更好的效果。然而，由于自然语言本身的复杂性和多样性，单个神经机器翻译模型的表达能力往往存在一定局限性且容易陷入局部最优。机器翻译任务中所处理的序列数据之间具有相关性，直接对不同模型的输出结果进行集成学习的效果并不理想。与此同时，多模态信息融合逐渐成为交叉学科的一个重要研究趋势，而不同模态信息之间融合的难点在于模态鸿沟导致语义表示不准确。　　本文基于Transformer模型在Multi30K数据集上进行多模态机器翻译任务的研究，主要研究工作如下：　　（1）在单模态神经机器翻译任务中，本文研究了一种基于加权条件概率的结果融合方法。该方法在解码过程中通过平均多个模型的概率分布从而预测出下一个目标端词语，从而获得表达能力更强的集成模型。实验结果表明，利用这种结果融合方法得到的最高BLEU分值是33.95，这相比基线模型有17.76%的性能提升。　　（2）针对不同模态数据之间的语义鸿沟问题，本文提出一种基于协同学习的多模态神经机器翻译模型（CRMMT）。该模型分别将文本特征和VGG16卷积神经网络提取到的图像特征进行线性变换后相加，从而得到在同一语义空间下的多模态特征表示。实验结果表明，通过与几种典型的Gate模型对比，本文的模型具有一定优势且相比基线模型性能提升了8.95%。　　（3）为了获得图像更深层次的语义表达，本文提出了一种高维多通道的图片特征表示方法（CRMMT+）。其核心思想是分别从图片的不同色彩通道提取相应的特征表示并运用到CRMMT模型中。实验结果表明，基于这种高维多通道的图片特征表示方法能够进一步提升多模态机器翻译模型的效果。

关键词：多模态机器翻译协同学习学习卷积神经网络特征表示

来源：评论

学校读者我要写书评

暂无评论

基于跨模态实体信息融合的神经机器翻译方法

引用

自动化学报 2023年第6期49卷 1170-1180页

作者：黄鑫张家俊宗成庆中国科学院自动化研究所模式识别国家重点实验室北京100190 中国科学院大学人工智能学院北京100049

现有多模态机器翻译(Multi-modal machine translation,MMT)方法将图片与待翻译文本进行句子级别的语义融合.这些方法存在视觉信息作用不明确和模型对视觉信息不敏感等问题,并进一步造成了视觉信息与文本信息无法在翻译模型中充分融合... 详细信息

现有多模态机器翻译(Multi-modal machine translation,MMT)方法将图片与待翻译文本进行句子级别的语义融合.这些方法存在视觉信息作用不明确和模型对视觉信息不敏感等问题,并进一步造成了视觉信息与文本信息无法在翻译模型中充分融合语义的问题.针对这些问题,提出了一种跨模态实体重构(Cross-modal entity reconstruction,CER)方法.区别于将完整的图片输入到翻译模型中,该方法显式对齐文本与图像中的实体,通过文本上下文与一种模态的实体的组合来重构另一种模态的实体,最终达到实体级的跨模态语义融合的目的,通过多任务学习方法将CER模型与翻译模型结合,达到提升翻译质量的目的.该方法在多模态翻译数据集的两个语言对上取得了最佳的翻译准确率.进一步的分析实验表明,该方法能够有效提升模型在翻译过程中对源端文本实体的忠实度.

关键词：实体重构跨模态学习多任务学习多模态机器翻译

来源：评论

学校读者我要写书评

暂无评论

基于门控机制多模态信息融合的图像描述翻译

引用

中文信息学报 2024年第8期38卷 55-67页

作者：李志峰徐旻涵洪宇姚建民周国栋苏州大学计算机科学与技术学院江苏苏州215006

图像描述翻译是给定图像和图像对应某一语言的描述,采用神经网络以端到端方式融合图像和文本两种模态信息,利用翻译技术为图像描述生成目标语言的任务。传统图像描述翻译,在将源语言翻译成目标语言时,借助图像中的重要特征优化翻译过程... 详细信息

图像描述翻译是给定图像和图像对应某一语言的描述,采用神经网络以端到端方式融合图像和文本两种模态信息,利用翻译技术为图像描述生成目标语言的任务。传统图像描述翻译,在将源语言翻译成目标语言时,借助图像中的重要特征优化翻译过程。翻译过程中,目标词的生成依赖于源语言上下文和目标语言上下文信息。通过观察发现,源语言上下文偏于影响翻译结果的充分性和忠实度,而目标语言上下文偏于影响翻译结果的流畅性和衔接度。由于缺少有效机制来调节两种上下文信息的贡献度,翻译模型会生成流畅但不充分或者充分但不流畅的句子。针对以上问题,该文提出一种基于门控机制多模态信息融合的解码方法,用于优化现有图像描述翻译模型。该文模型通过源上下文门控调整图像特征和每个源语言词的重要度,过滤掉图像中不相关的特征;通过目标上下文门控动态调整源语言上下文和目标语言上下文对翻译结果的贡献度,从而有效提高翻译结果的充分性和流畅性。在Multi30k数据集上进行实验,验证了上述方法的有效性,在Multi30k-16英德和英法以及Multi30k-17英德和英法测试集上,BLEU-4值对比基准系统分别提升了1.3、1.0、1.5和1.4个百分点。

关键词：图像描述翻译多模态机器翻译上下文门控忠实度及流畅度

来源：评论

学校读者我要写书评

暂无评论

基于预训练模型的神经机器翻译关键技术研究

基于预训练模型的神经机器翻译关键技术研究

引用

作者：程佩郑州轻工业大学

学位级别：硕士

在神经机器翻译领域中,通常会将不同的语言词汇映射到一个共享的向量空间中,而预训练的多语词嵌入能够捕捉到不同语言的语义相似性和差异性,可以辅助机器翻译进行跨语言映射。然而,数据之间的不平衡使得模型无法有效的学习这些语言特征... 详细信息

在神经机器翻译领域中,通常会将不同的语言词汇映射到一个共享的向量空间中,而预训练的多语词嵌入能够捕捉到不同语言的语义相似性和差异性,可以辅助机器翻译进行跨语言映射。然而,数据之间的不平衡使得模型无法有效的学习这些语言特征,从而影响翻译质量。另一种增强神经机器翻译的方式是通过多模态信息,这种方法结合了文本信息与其它模态(如图像、音频)的数据,以增强翻译的上下文理解和语义精准度。然而,此类方法通常仅模拟视觉注释与源语言之间的一致性,在解码部分没有给予足够的重视。目前最先进的基于大语言模型(Large Language Models,LLMs)神经机器翻译,通过少样本微调即可实现超越传统神经机器翻译的性能,但是成本高昂,还增加了过拟合和灾难性遗忘的风险,尤其是在训练数据有限的情况下。针对上述三个问题,本文开展了下面的研究: 1、提出了一种通过对比学习和动态课程学习(Dynamic Course Learning,DCL)相结合来生成多语言句子嵌入的新方法。我们将对比学习扩展到多语言环境,将正对表示为在不同语言中传达相同语义内容的句子,而负对则由具有不同含义的句子组成。为了进一步增强学习过程,本文引入了DCL,它可以随着时间的推移调整训练实例的难度。这种方法提高了模型捕获跨语言的细微语义关系的能力。本文在诸多下游任务中进行了全面的实验,证明了我们提出的方法的有效性。此外,本文还详细分析了对比学习框架和DCL如何帮助性能提升。 2、提出了一种新颖的多模态神经机器翻译方法,将编码器和解码器与视觉特征相结合,以确保翻译过程中视觉文本的一致性。在编码器中,设计了利用图神经网络的跨模态关联机制来有效地适应文本和视觉信息。在解码器中,开发了结构化多模态图,直接映射和合并视觉和文本信息。在WMT16的英语到法语的实验中的BLEU值比基线提高了0.6,而在英语到德语的实验中则提高到1.28。 3、提出一种微调大型语言模型的方法来提升机器翻译性能,即只调整大型模型中与任务相关的层。该方法旨在保留模型在其他任务上的知识,同时优化翻译任务的性能。通过奇异值分解(Singular Value Decomposition,SVD)揭示注意力权重的结构和特征,可以对特定层进行微调,利用模型实现更准确、更高效翻译的潜力。本文所的方法与无微调和随机微调的BLEU值相比平均高出7.45。通过对比实验证明了该方法能够在一定程度上解决计算资源消耗问题和灾难性遗忘问题。这一发现为微调和应用大型模型提供了新的思路,从而推动了机器翻译领域的发展。 4、提出一种新的基于神经机械可解释性的方法,该方法针对机器翻译任务层进行更精细化的微调,其核心目标是深入探索和优化神经网络机器翻译模型中神经元的作用和行为。通过对模型内各层神经元的对齐情况进行细致分析,评估不同神经元在处理特定语言对翻译任务时的激活模式。这包括将神经元划分为两类:特定语言的神经元以及通用语言的神经元。此分类能够使我们更专注于调整与翻译任务直接相关的神经元,与全参数微调相比,在各个实验上的BLEU值平均能够提升1.31。

关键词：词嵌入多模态机器翻译大语言模型神经机械可解释性

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：