检索结果-内蒙古大学图书馆

计算技术与自动化 2025年第1期44卷 136-140页

作者：王丹哈尔滨医科大学公共外语教研部黑龙江大庆163000

针对目前跨语言机器翻译存在性能较低的问题,提出了一种基于深度学习和上下文感知算法的跨语言翻译模型。还提出了一个具有12层的跨语言Transformer编码器-解码器结构,充分学习不同语言表达特征。再提出了一种数据对齐方法,可有效扩充... 详细信息

针对目前跨语言机器翻译存在性能较低的问题,提出了一种基于深度学习和上下文感知算法的跨语言翻译模型。还提出了一个具有12层的跨语言Transformer编码器-解码器结构,充分学习不同语言表达特征。再提出了一种数据对齐方法,可有效扩充数据样本数量,增加数据多样性和数据量,减少数据和模型之间复杂度的相对差异,缓解过拟合问题。实验阶段,通过有监督、无监督、零样本数据集测试,证明所提模型具备较优性能。实验充分验证了所提模型可有效表达未知语种。与m-Transformer和mRASP等主流模型相比,所提模型BLEU分数较优。实验结果证明了所提出跨语言翻译模型的有效性及实用性,该模型可为跨语言机器翻译领域的发展提供一定借鉴作用。

关键词：机器翻译跨语言模型深度学习数据对齐 Transformer

来源：评论

学校读者我要写书评

暂无评论

大语言模型与多语言智能的研究进展与启示

引用

计算机应用 2023年第S02期43卷 1-8页

作者：徐月梅胡玲赵佳艺杜宛泽王文清北京外国语大学信息科学技术学院北京100089 北京大学软件与微电子学院北京100053

针对大语言模型(LLM)在高资源语言上表现优异而在低资源语言上表现欠佳的现状,深入分析LLM在多语言场景下的研究现状、技术与局限。首先,从2018年至今以Multi-BERT(multi-lingual Bidirectional Encoder Representations from Transform... 详细信息

针对大语言模型(LLM)在高资源语言上表现优异而在低资源语言上表现欠佳的现状,深入分析LLM在多语言场景下的研究现状、技术与局限。首先,从2018年至今以Multi-BERT(multi-lingual Bidirectional Encoder Representations from Transformers)、GPT(Generative Pre-trained Transformer)和ChatGPT(Chat Generative Pre-trained Transformer)等语言模型为代表,综述LLM的发展脉络;然后,具体分析了大语言模型在多语言智能上的探索,总结现有LLM在多语言智能的研究局限及其改进方向;最后,探讨LLM未来的多语言智能应用场景。分析指出现有LLM受限于多语言训练语料不均衡,存在语言文化的伦理偏见、语言模型的风格趋同化、多语言能力评估基准缺乏以及多语言场景下的模型幻象输出等问题,未来可采用同一语系家族语言的联合训练、多语言适配器技术、跨语言迁移学习技术、提示语工程技术、基于人工智能反馈的强化学习技术等策略实现多语言智能的LLM。

关键词：大语言模型多语言智能跨语言模型通用人工智能迁移学习

来源：评论

学校读者我要写书评

暂无评论

基于多语BERT的无监督攻击性言论检测

引用

计算机应用 2022年第11期42卷 3379-3385页

作者：师夏阳张风远袁嘉琪黄敏郑州轻工业大学软件学院郑州450001 郑州轻工业大学数学与信息科学学院郑州450001

攻击性言论会对社会安定造成严重不良影响,但目前攻击性言论自动检测主要集中在少数几种高资源语言,对低资源语言缺少足够的攻击性言论标注语料导致检测困难,为此,提出一种跨语言无监督攻击性迁移检测方法。首先,使用多语BERT(mBERT)模... 详细信息

攻击性言论会对社会安定造成严重不良影响,但目前攻击性言论自动检测主要集中在少数几种高资源语言,对低资源语言缺少足够的攻击性言论标注语料导致检测困难,为此,提出一种跨语言无监督攻击性迁移检测方法。首先,使用多语BERT(mBERT)模型在高资源英语数据集上进行对攻击性特征的学习,得到一个原模型;然后,通过分析英语与丹麦语、阿拉伯语、土耳其语、希腊语的语言相似程度,将原模型迁移到这四种低资源语言上,实现对低资源语言的攻击性言论自动检测。实验结果显示,与BERT、线性回归(LR)、支持向量机(SVM)、多层感知机(MLP)这四种方法相比,所提方法在丹麦语、阿拉伯语、土耳其语、希腊语这四种语言上的攻击性言论检测的准确率和F1值均提高了近2个百分点,接近目前的有监督检测,可见采用跨语言模型迁移学习和迁移检测相结合的方法能够实现对低资源语言的无监督攻击性检测。

关键词：跨语言模型攻击性言论检测 BERT 无监督方法迁移学习

来源：评论

学校读者我要写书评

暂无评论

古农文语义检索关键技术研究与实现

古农文语义检索关键技术研究与实现

引用

作者：刘楠竹中国农业科学院

学位级别：硕士

古农文语义检索模型是指能够实现直接使用自然语言对古农文进行检索的模型。目前国内对于古农文,甚至对于古文的语义检索研究都处于较为滞后的状态,对于“现代文-古农文”的语言模型研究程度较低,这主要是因为语料的缺乏和模型训练方法... 详细信息

古农文语义检索模型是指能够实现直接使用自然语言对古农文进行检索的模型。目前国内对于古农文,甚至对于古文的语义检索研究都处于较为滞后的状态,对于“现代文-古农文”的语言模型研究程度较低,这主要是因为语料的缺乏和模型训练方法的局限。目前我国未见公开的专门针对古农文古白平行语料的数据集,且现有的“现代文-古文”模型都通过全词遮蔽任务和下一句预测任务进行训练,这使得它们在进行从句子到句子的检索任务时,模型对用户检索意图的理解程度有所局限,检索效果不佳,在查全和查准上都很难达到预期。为解决上述问题,本研究在全网搜集古农文文本数据及其对应的译文数据,构建成共含14,133条古农文数据的古农文数据集和共含6,152对古白平行句对的古农文古白平行数据集,分别作为后续测试模型古农文语义检索任务效果的检索数据集和进行模型训练的训练数据。由于古农文数据量级较小,仅使用古农文数据对模型进行训练难以达到训练语言模型的预期效果,本文在全网搜集已有古文古白平行数据集,作为补充训练数据,其中共包含972,467对古白平行句对。基于搜集到的训练数据,本文使用基于对比学习框架和跨语言预训练模型的方法,以现有古文、古白语言模型作为基础模型,训练出能够实现以现代文作为查询,系统自动返回意思最相近的古文的古农文语义检索模型,并在模型训练与调优过程中,根据相应模型测评指标,选出性能最优的模型,构建古农文知识服务平台,提供在线古农文语义检索服务。最终训练好的模型,其Spearman系数达到85.26%,在自建测试集上Recall@1和Precision@1达到81.55%。本文训练出的古农文语义检索模型,其Spearman系数、Recall@1和Precision@1较基础模型分别提升了9.25%、17.61%和17.61%。

关键词：古农文语义检索跨语言模型跨语言平行语料知识蒸馏古农文知识服务平台

来源：评论

学校读者我要写书评

暂无评论

基于XLM-R的多语言网络评论情感分类研究

基于XLM-R的多语言网络评论情感分类研究

引用

作者：石泽北京交通大学

学位级别：硕士

移动互联网技术的不断发展以及网络应用软件的普及,使得人们已经习惯在社交媒体,技术博客等各种新兴网络平台上发表自身的观点和看法。大家各抒己见促进了社会的进步。但随之而来也有很多问题,比如网络暴力,性别歧视等,这些问题给人们... 详细信息

移动互联网技术的不断发展以及网络应用软件的普及,使得人们已经习惯在社交媒体,技术博客等各种新兴网络平台上发表自身的观点和看法。大家各抒己见促进了社会的进步。但随之而来也有很多问题,比如网络暴力,性别歧视等,这些问题给人们的生活带来了不可忽视的影响。因此,对网络中带有恶意的评论进行识别是很有意义的工作。但随着全球化进程的不断加快以及全球网民数量的不断增加,互联网当中的语言开始变得多种多样,有些软件中还包括多种语言。如果对于互联网中的每一种语言都建立相应的模型进行评论识别,显然不论从语料的搜集上,还是从模型的创建和应用上都有一定的困难。所以,使用跨语言模型对多语言网络评论进行识别是很有必要的。本文研究多语言网络评论分类问题,主要工作包括改进跨语言模型中提取文本特征的方法以及评估不同文本分类算法的分类效果,具体而言包括如下几点:1.本文对近年来四种较有代表性的跨语言模型进行理论方面的阐述,并对四种模型的分类效果做出对比实验。四种模型分别为m BERT、XLM、Unicoder、XLM-R。在理论叙述的基础上,本文又对四种模型进行了实验分析。实验结果表明,XLM-R模型的准确率及AUC值最高。因此后续研究以XLM-R模型作为主体。2.针对XLM-R模型如何获取更多文本特征的问题,本文提出对其网络结构进行改造的方法。具体是将XLM-R模型的第10、11、12层(后三层)进行拼接,构造出XLM-R-3模型。实验结果表明,XLM-R-3模型的准确率和AUC值高于初始模型及其它拼接模型。之后将XLM-R-3模型作为词嵌入层,与不同的传统分类算法相结合。实验结果表明,XLM-R-3与支持向量机结合时准确率及AUC值最高。3.本文使用深度学习分类算法对特征进行进一步提取。文中以XLM-R-3模型作为输入层,分别结合卷积神经网络和循环神经网络及其变体。最终提出XLM-R-3-BGA模型。该模型使用XLM-R-3与双向GRU网络进行结合,以双向GRU作为主体网络,提取文本的上下文特征,最后使用注意力机制,将重点词语重点突出,从而进行评论分析。实验结果表明,本文提出的XLM-R-3-BGA模型的准确率和AUC值高于初始模型及其他结合模型。4.跨语言模型与单语言模型的分类效果对比。本文使用谷歌翻译将英文翻译为西班牙文与意大利文。之后使用跨语言模型分别与西班牙文,意大利文的BERT模型进行对比。实验结果表明,跨语言模型的准确率和AUC值高于单语言模型。

关键词：情感分类跨语言模型 XLM-R 分类算法

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：