检索结果-内蒙古大学图书馆

吉林大学学报(理学版) 2025年第2期63卷 551-558页

作者：王轶王坤宁刘铭长春工业大学外国语学院长春130012 长春工业大学数学与统计学院长春130012

针对现有多语言模型在预训练过程中对多语言数据集的利用效率低,导致跨语言上下文学习能力不足,进而产生语言偏差的问题,提出一种基于交替语言数据重构方法的跨语言文本相似度模型.该方法通过对称地替换平行语料中的中英文词语,形成重... 详细信息

针对现有多语言模型在预训练过程中对多语言数据集的利用效率低,导致跨语言上下文学习能力不足,进而产生语言偏差的问题,提出一种基于交替语言数据重构方法的跨语言文本相似度模型.该方法通过对称地替换平行语料中的中英文词语,形成重构的预训练文本对,并利用上述文本对对多语言大模型mBERT(BERT-based-multilingual)进行基于数据重构的针对性预训练和微调处理.为验证该模型的可行性,在联合国平行语料数据集上进行实验,实验结果表明,该模型的相似度查准率优于mBERT和其他两种基线模型,其不仅可以进一步提高跨语言信息检索的准确性,并且可以降低多语言自然语言处理任务的研究成本.

关键词： mBERT模型文本相似度多语言预训练模型大模型微调

来源：评论

学校读者我要写书评

暂无评论

基于对比损失的低资源语言情感分类

引用

电脑知识与技术 2025年第6期21卷 9-11页

作者：杜广进拥措西藏大学信息科学技术学院西藏拉萨850000 西藏自治区藏文信息技术人工智能重点实验室西藏拉萨850000 藏文信息技术教育部工程研究中心西藏拉萨850000

随着自然语言处理技术的快速发展,跨语言预训练模型为低资源语言处理提供了新的研究途径。然而,现有模型在马来语、豪萨语等低资源语言上的性能仍有待提升,主要受限于训练数据的匮乏和质量不均。特别是在情感分类任务中,传统的全参数微... 详细信息

随着自然语言处理技术的快速发展,跨语言预训练模型为低资源语言处理提供了新的研究途径。然而,现有模型在马来语、豪萨语等低资源语言上的性能仍有待提升,主要受限于训练数据的匮乏和质量不均。特别是在情感分类任务中,传统的全参数微调方法难以充分利用有限训练集中标签之间的关系,导致模型在不同类别上的性能差异显著。针对这一挑战,该文提出了一种基于对比损失的低资源语言情感分类方法(CL-LRSC),通过在多语言预训练模型的微调过程中引入对比损失,优化文本在向量空间的表示。该方法在保持传统交叉熵损失的基础上,通过对比学习使相同情感类别的文本表示相互靠近,不同情感类别的文本表示相互远离。在阿姆哈拉语、印尼语和豪萨语三种低资源语言的情感分类实验中,该方法显著提升了分类性能。实验结果表明,在XLM-R模型上,印尼语和豪萨语的F1分数分别从89.19%提升至91.96%和从66.00%提升至71.48%。研究成果为解决低资源语言的情感分类问题提供了新的思路。

关键词：情感分类低资源语言对比损失多语言预训练模型

来源：评论

学校读者我要写书评

暂无评论

Lacmia:抗混淆的多民族语言生成式摘要模型

引用

中文信息学报 2024年第10期38卷 80-94页

作者：翁彧罗皓予刘征超木日力格刘轩董俊中央民族大学民族语言智能分析与安全治理教育部重点实验室中央民族大学信息工程学院

该文提出了一种针对中国多民族低资源语言生成式摘要模型Lacmia(Language-Anti-confusioned Chinese Minority Abstractive Summarization Model)。为了克服以往模型只能处理单一语言的限制，Lacmia采用了一种统一的生成式架构来执行不... 详细信息

该文提出了一种针对中国多民族低资源语言生成式摘要模型Lacmia(Language-Anti-confusioned Chinese Minority Abstractive Summarization Model)。为了克服以往模型只能处理单一语言的限制，Lacmia采用了一种统一的生成式架构来执行不同民族语言的摘要生成任务。此外，为了解决以往模型在多民族低资源语言处理上的性能不足问题，该模型在框架中加入了语言信息嵌入模块。该文通过在损失函数中引入目标语言偏好性正则化项，有效减轻了多语言摘要中出现的语言混淆现象，从而提升摘要生成准确性和流畅度。广泛的实验表明，Lacmia在包括藏语和维吾尔语在内的多民族低资源语言摘要任务中，取得了卓越成绩。除了在ROUGE评价标准上实现了显著性能提升外，Lacmia在该文新提出的CINOScore和NLCR两项指标上均达到了最佳效果，验证了模型的有效性和先进性。

关键词：生成式摘要多语言预训练模型低资源语言信息处理多目标学习

来源：评论

学校读者我要写书评

暂无评论

多语言模型的优化及其在跨语言信息检索上的应用

多语言模型的优化及其在跨语言信息检索上的应用

引用

作者：汪润川中国科学院大学

学位级别：硕士

跨语言信息检索(Cross-lingualInformationRetrieve，CLIR)是一种特殊的信息检索任务，它的检索词和被检索文档并非使用同一种语言书写。传统的跨语言检索方法依赖于翻译系统将检索词和文档翻译成同一种语言，从而将跨语言检索转换为单... 详细信息

跨语言信息检索(Cross-lingualInformationRetrieve，CLIR)是一种特殊的信息检索任务，它的检索词和被检索文档并非使用同一种语言书写。传统的跨语言检索方法依赖于翻译系统将检索词和文档翻译成同一种语言，从而将跨语言检索转换为单语言检索(MonolingualInformationRetrieval，MoLIR)。然而，依赖翻译系统的跨语言检索存在一定的弊端。首先，任务的上限受制于翻译系统。如果系统在翻译时存在错误，那么这个错误会在后续的链路中累计;其次，在实际的业务场景中，任务的链路很长，翻译系统和下游任务间难以进行总体优化。因此，除了不断提升翻译系统的质量，研究者们也在寻找新的路径，设计与翻译无关的跨语言检索模型。　　近年来，大规模预训练语言模型(如BERT，RoBERTa，GPT)的出现让自然语言处理(NaturalLanguageProcess，NLP)领域进入了新的发展阶段，它们的多语言版本(即多语言模型)也极大推动了与翻译无关的跨语言检索模型的研究。与机器翻译模型生成一段文本序列不同的是，多语言模型能够直接将输入的文本转换为蕴含语义的向量。一个理想的多语言模型，在编码不同语言具有相同意义的文本时，得到的向量应尽可能一致。针对跨语言检索任务，多语言模型可以直接将检索词和文档编码成语义向量，使用向量进行检索和匹配，从而规避翻译系统存在的两个问题。　　优化和发展多语言模型，消除其在不同语言上的表征差异，一方面有利于提升模型在跨语言检索等多语言任务上的表现，另一方面可以进行跨语言的知识共享。在实际应用中，不同语言的训练语料规模差异通常很大。以检索任务为例，研究人员更容易收集到单语言检索的样本而非跨语言检索，而在跨语言检索的数据中，英语等高资源语言的文本数据量又大于其他语言的文本。语料的规模很大程度上影响了模型的质量，优秀的多语言模型应该具有强大的迁移能力，即高资源语言学习到的知识可以向低资源语言迁移，并能被充分利用。　　多语言任务是一个天然的迁移学习(TransferLearning)任务。不同的语言代表不同的领域。因此，许多迁移学习算法都可以应用于多语言技术。本文将结合这些迁移学习技术，增强多语言预训练模型的表征能力和迁移能力，从而提升其在跨语言检索等下游任务上的表现。本文的主要研究内容如下:　　1.基于特征映射的语言适应器对齐研究。适应器是一种应用于深度神经网络的模型迁移技术。它将可插拔的轻量级网络插入在主干网络中，对主干网络的隐藏特征和最终输出做特征变换，从而让模型能够适应各类不同的应用场景。已有工作将适应器和多语言模型相结合，为不同语言训练专用的适应器，以增强模型的多语言迁移能力。然而，每种语言的适应器参数均由单一语言训练得到，缺乏语言之间的联系。为了提升各个语言适应器的性能，本文利用平行语料将其他语言的适应器与英语对齐。在多语言数据集XNLI上的实验结果表明通过平行语料增强后的适应器模型在下游任务的跨语言迁移中表现更好。　　2.基于对抗迁移网络的跨语言检索研究。为了消除不同语言的语义向量的特征分布差异，增强多语言模型的表征能力，提升其在跨语言检索任务上的表现，本文将对抗迁移网络和多语言模型相结合。对抗迁移网络是一种无需平行语料的分布对齐方法。训练时，网络末端有一个判别器判别语义向量属于哪一语言，而作为文本特征提取器的多语言模型则尽可能迷惑判别器，使其无法进行有效区分，以达到特征分布对齐的目的。该方法在新发布的跨语言检索数据集CLIRMatrix上进行实验，结果表明，对抗网络和相关性模型的多任务训练成功提升了多语言模型在数据集上的表现。　　3.基于模型迁移的跨语言检索研究。由于不需要面对不同语言的差异且训练语料更为丰富，单语言检索模型的表现往往好于跨语言检索。为了利用单语言检索模型优越的表征能力，使其能够指导跨语言检索，本文提出了基于模型迁移的跨语言检索方法，即依赖适应器结构，设计2阶段的训练策略。首先由单语言数据训练主干模型，使其学习与检索任务相关的知识，再根据实际的跨语言应用场景替换适应器，由多语言数据训练适应器，使其学习与语言相关的知识。CLIRMatrix数据集上的实验结果证明了这一方法的有效性。

关键词：跨语言信息检索自然语言处理多语言预训练模型迁移学习

来源：评论

学校读者我要写书评

暂无评论

面向“一带一路”的低资源语言机器翻译研究

引用

计算机工程 2024年第4期50卷 332-341页

作者：侯钰涛阿布都克力木·阿布力孜史亚庆马依拉木·木斯得克哈里旦木·阿布都克里木新疆财经大学信息管理学院新疆乌鲁木齐830012

随着“一带一路”倡议的深入推进,沿线国家和地区之间的跨语言沟通需求日渐增长,机器翻译技术逐渐成为各国之间深入交流的重要手段。然而,这些国家存在大量低资源语言,语料的稀缺性导致其机器翻译研究进展较为缓慢。针对该问题,提出一... 详细信息

随着“一带一路”倡议的深入推进,沿线国家和地区之间的跨语言沟通需求日渐增长,机器翻译技术逐渐成为各国之间深入交流的重要手段。然而,这些国家存在大量低资源语言,语料的稀缺性导致其机器翻译研究进展较为缓慢。针对该问题,提出一种基于NLLB模型改进的低资源语言机器翻译训练方法。首先基于多语言预训练模型提出一种改进的训练策略,该策略在数据增强的前提下,对损失函数进行优化,从而在机器翻译任务中有效提高低资源语言的翻译性能;然后使用ChatGPT以及ChatGLM模型分别评估老挝语-汉语以及越南语-汉语的翻译能力,大语言模型(LLM)已具备一定的翻译低资源语言的能力,而且ChatGPT模型在越南语-汉语翻译任务上已经大幅超越传统的神经机器翻译(NMT)模型,但是在老挝语上的翻译性能还有待进一步提高。实验结果表明,在4种低资源语言到汉语的翻译任务上,相比NLLB-600M基线模型,平均提升了1.33个双语替换测评(BLEU)值以及0.82个chrF++值,从而充分证明了该方法在低资源语言机器翻译任务上的有效性。此外,该方法使用ChatGPT和ChatGLM模型分别对老挝语-汉语以及越南语-汉语进行了初步研究,在越南语-汉语翻译任务中,ChatGPT模型表现出色,远超传统的NMT模型,分别提高了9.28个BLEU值和3.12个chrF++值。

关键词：低资源语言机器翻译数据增强多语言预训练模型大语言模型

来源：评论

学校读者我要写书评

暂无评论

CINOSUM:面向多民族低资源语言的抽取式摘要模型

引用

计算机科学 2024年第7期 296-302页

作者：翁彧罗皓予超木日力格刘轩董俊刘征中央民族大学民族语言智能分析与安全治理教育部重点实验室中央民族大学中国少数民族语言文学学院

针对现有的模型无法处理多民族低资源语言自动摘要生成的问题，基于CINO提出了一种面向多民族低资源语言的抽取式摘要模型CINOSUM。为扩大文本摘要的语言范围，首先构建了多种民族语言的摘要数据集MESUM。为解决以往模型在低资源语言上... 详细信息

针对现有的模型无法处理多民族低资源语言自动摘要生成的问题，基于CINO提出了一种面向多民族低资源语言的抽取式摘要模型CINOSUM。为扩大文本摘要的语言范围，首先构建了多种民族语言的摘要数据集MESUM。为解决以往模型在低资源语言上效果不佳的问题，构建了一个框架，采用统一的句子抽取器，以进行不同民族语言的抽取式摘要生成。此外，提出采用多语言数据集的联合训练方法，旨在弥补知识获取上的不足，进而扩展在低资源语言上的应用，显著增强模型的适应性与灵活性。最终，在MESUM数据集上开展了广泛的实验研究，实验结果表明CINOSUM模型在包括藏语和维吾尔语在内的多民族低资源语言环境中表现卓越，并且在ROUGE评价体系下取得了显著的性能提升。

关键词：抽取式摘要多语言预训练模型低资源语言信息处理知识迁移

来源：评论

学校读者我要写书评

暂无评论

融合敏感词典和异构图的汉泰跨语言敏感信息识别

引用

计算机工程与设计 2024年第7期45卷 2150-2156页

作者：朱栩冉余正涛张勇丙昆明理工大学信息工程与自动化学院云南昆明650500 昆明理工大学云南省人工智能重点实验室云南昆明650500

通用跨语言文本分类模型识别毒品、暴力和自然灾害等敏感信息不准确,且汉泰双语敏感词表示多样化、难对齐导致不同语言信息聚合能力较弱,为此提出一种融合敏感词典和异构图的汉泰跨语言敏感信息识别方法。利用汉泰敏感词典构建具有文档... 详细信息

通用跨语言文本分类模型识别毒品、暴力和自然灾害等敏感信息不准确,且汉泰双语敏感词表示多样化、难对齐导致不同语言信息聚合能力较弱,为此提出一种融合敏感词典和异构图的汉泰跨语言敏感信息识别方法。利用汉泰敏感词典构建具有文档对齐和词对齐的跨语言异构图结构,将文档以及所含关键词和敏感词作为节点,双语对齐、相似关系和不同词性作为边构建汉泰跨语言异构图;基于多语言预训练模型对文档节点和词节点进行表征;通过多层图卷积神经网络对输入文档进行编码,使用敏感信息分类器对文档进行分类预测。实验结果表明,所提方法准确率较基线模型提高了5.83%。

关键词：敏感词典跨语言异构图图卷积神经网络敏感信息识别多语言预训练模型双语对齐

来源：评论

学校读者我要写书评

暂无评论

基于跨层级多视角特征的多语言事件探测

引用

计算机科学 2024年第5期51卷 208-215页

作者：张志远张维彦宋雨秋阮彤华东理工大学信息工程与科学学院上海200237

多语言事件探测任务的目标是将多种语言的新闻文档集合组织成不同的关键事件,其中每个事件可以包含不同语言的新闻文档。该任务有助于各种下游任务应用,如多语言知识图谱构建、事件推理、信息检索等。目前,多语言事件探测主要分为先翻... 详细信息

多语言事件探测任务的目标是将多种语言的新闻文档集合组织成不同的关键事件,其中每个事件可以包含不同语言的新闻文档。该任务有助于各种下游任务应用,如多语言知识图谱构建、事件推理、信息检索等。目前,多语言事件探测主要分为先翻译再事件探测与先单语言检测再跨多种语言对齐两种方法,前者依赖翻译的效果,后者需要为每种语言单独训练模型。为此,提出了一种名为基于跨层级多视角特征融合的多语言事件探测方法,端到端地进行多语言事件探测任务。该方法从不同层级利用文档的多视角特征,获得了高可靠性的多语言事件探测结果并提升了低资源语言事件探测的泛化性能。在9种语言混合的新闻数据集上进行的实验表明,所提方法的BCubed F1值提升了4.63%。

关键词：多语言预训练模型多语言事件探测新闻文档聚类加权相似度增量聚类

来源：评论

学校读者我要写书评

暂无评论

基于表征空间结构对齐的跨语言知识迁移方法

引用

计算机应用 2024年第S2期44卷 18-23页

作者：任思远彭程陈科何智毅中国科学院成都计算机应用研究所成都610213 中国科学院大学北京100049

在自然语言处理(NLP)领域中,对比学习作为一种高效的句子表征学习方法,有效缓解了基于Transformer的预训练语言模型的各向异性,并显著提升了句子表征的质量。然而,现有研究集中在英语上,尤其是在有监督设置下的情况。由于缺乏有标签数据... 详细信息

在自然语言处理(NLP)领域中,对比学习作为一种高效的句子表征学习方法,有效缓解了基于Transformer的预训练语言模型的各向异性,并显著提升了句子表征的质量。然而,现有研究集中在英语上,尤其是在有监督设置下的情况。由于缺乏有标签数据,在大多数非英语语言上难以有效利用对比学习获得高质量的句子表征。针对此问题,提出一种适用于对比学习模型的跨语言知识迁移方法——通过对齐不同语言表征空间的结构进行跨语言知识迁移,并基于此方法设计了一个简单有效的跨语言知识迁移框架——TransCSE,旨在将有监督英语对比学习模型的知识迁移到非英语模型上。通过英语到英语、法语、阿拉伯语、西班牙语、土耳其语、汉语等6个方向的知识迁移实验,TransCSE将有监督英语对比学习模型SimCSE(Simple Contrastive learning of Sentence Embeddings)的知识迁移到了多语言预训练语言模型mBERT(multilingual Bidirectional Encoder Representations from Transformers)上。实验结果表明,与原始的mBERT相比,利用TransCSE框架训练完成的模型在XNLI(Cross-lingual Natural Language Inference)和STS(Semantic Textual Similarity) 2017这2个基准数据集上分别获得了17.95和43.27个百分点的准确率提升,验证了TransCSE的有效性;同时,相较于基于共享参数和基于表征对齐的跨语言知识迁移方法,TransCSE在2个数据集上均取得了最佳表现。

关键词：自然语言处理对比学习跨语言知识迁移多语言预训练模型表征空间结构对齐

来源：评论

学校读者我要写书评

暂无评论

面向低资源环境下的神经机器翻译研究

面向低资源环境下的神经机器翻译研究

引用

作者：王菁广西大学

学位级别：硕士

机器翻译是指利用计算机将源语言句子翻译成目标语言句子的过程。随着深度学习技术的广泛应用和快速发展,神经机器翻译开始成为机器翻译领域的新范式。尽管神经机器翻译的出现有效提高了译文的翻译质量,但是低资源环境下的神经机器翻译... 详细信息

机器翻译是指利用计算机将源语言句子翻译成目标语言句子的过程。随着深度学习技术的广泛应用和快速发展,神经机器翻译开始成为机器翻译领域的新范式。尽管神经机器翻译的出现有效提高了译文的翻译质量,但是低资源环境下的神经机器翻译仍然面临着数据稀缺、模型收敛速度慢、训练难度大等问题。针对上述问题与挑战,从数据增强和训练策略两个方面进行了研究,具体工作内容如下: (1)为了缓解低资源环境下的数据稀缺问题,提出了一种基于噪声融合和中文预训练词嵌入结合的数据增强方法。该数据增强方法能够丰富训练数据的多样性,同时提高神经机器翻译模型的鲁棒性。与多种数据增强方法进行比较和实验验证,在CCMT2022的翻译任务上的实验结果表明该数据增强方法能够使神经机器翻译模型在低资源环境下表现出良好的性能。 (2)针对神经机器翻译模型收敛速度慢的问题,提出了一种基于数据引导的课程学习方法,不需要额外增加外部训练数据。该课程学习方法的关键思想是根据模型当前的学习能力调整训练数据的翻译难度,从而加快模型收敛速度。在IWSLT低资源数据集上的实验结果表明使用课程学习方法的神经机器翻译模型取得了更好的翻译结果。 (3)针对神经机器翻译模型训练难度大的问题,在课程学习方法中引入了多语言预训练模型。多语言预训练模型的优势是它具备强大的跨语言迁移能力和语言表示能力,能够捕捉更深层的上下文信息。因此,微调多语言预训练模型能够极大的降低模型训练难度,同时改善低资源环境下的翻译性能。本文针对低资源神经机器翻译任务展开研究,有助于提高低资源环境下的翻译质量,对于推动机器翻译技术创新、促进文化交流具有重要意义。

关键词：低资源神经机器翻译数据增强课程学习多语言预训练模型

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：