检索结果-内蒙古大学图书馆

计算机工程与设计 2025年第4期46卷 1190-1197页

作者：任乐张仰森李剑龙孙圆明刘帅康北京信息科技大学智能信息处理研究所北京100101 北京信息科技大学计算机学院北京100101

针对用于古籍命名实体识别古籍语料少、古文信息熵高的问题,构建基于二十四史的古籍文本语料库,并提出一种基于增量预训练和对抗学习的古籍命名实体识别模型(ANER-IPAL)。基于自建的古籍文本数据集,使用NEZHA-TCN模型进行预训练,在嵌入... 详细信息

针对用于古籍命名实体识别古籍语料少、古文信息熵高的问题,构建基于二十四史的古籍文本语料库,并提出一种基于增量预训练和对抗学习的古籍命名实体识别模型(ANER-IPAL)。基于自建的古籍文本数据集,使用NEZHA-TCN模型进行预训练,在嵌入层融合对抗学习增强模型泛化能力,在解码层引入全局指针网络,将实体识别任务建模为子串提取任务,结合规则进行结果的矫正输出。实验结果表明,所提模型在“古籍命名实体识别2023”数据集(GuNER2023)上的F1值达到了95.34%,相较于基线模型NEZHA-GP提高了4.19%。

关键词：二十四史古籍命名实体识别增量预训练时序卷积神经网络对抗学习全局指针子串提取

来源：评论

学校读者我要写书评

暂无评论

基于增量预训练和对抗训练的文本匹配模型

引用

计算机系统应用 2022年第11期31卷 349-357页

作者：司志博文李少博单丽莉孙承杰刘秉权人民网传播内容认知国家重点实验室北京100733 哈尔滨工业大学计算学部哈尔滨150001

文本匹配是自然语言理解的关键技术之一,其任务是判断两段文本的相似程度.近年来随着预训练模型的发展,基于预训练语言模型的文本匹配技术得到了广泛的应用.然而,这类文本匹配模型仍然面临着在某一特定领域泛化能力不佳、语义匹配时鲁... 详细信息

文本匹配是自然语言理解的关键技术之一,其任务是判断两段文本的相似程度.近年来随着预训练模型的发展,基于预训练语言模型的文本匹配技术得到了广泛的应用.然而,这类文本匹配模型仍然面临着在某一特定领域泛化能力不佳、语义匹配时鲁棒性较弱这两个挑战.为此,本文提出了基于低频词的增量预训练及对抗训练方法来提高文本匹配模型的效果.本文通过针对领域内低频词的增量预训练,帮助模型向目标领域迁移,增强模型的泛化能力;同时本文尝试多种针对低频词的对抗训练方法,提升模型对词级别扰动的适应能力,提高模型的鲁棒性.本文在LCQMC数据集和房产领域文本匹配数据集上的实验结果表明,增量预训练、对抗训练以及这两种方式的结合使用均可明显改善文本匹配结果.

关键词：文本匹配预训练模型增量预训练对抗训练低频词深度学习自然语言处理

来源：评论

学校读者我要写书评

暂无评论

面向气象领域的大语言模型增量预训练技术研究

面向气象领域的大语言模型增量预训练技术研究

引用

首届全国大模型与决策智能大会

作者：雷达马瑞祥瞿崇晓张永晋余华峰中国电子科技集团公司第五十二研究所

为增强大语言模型领域专业性,提出军事气象领域增量预训练方法。文章使用低复杂度逻辑回归方法构建低质识别能力、SimHash构建冗余去除能力,通过采样高质量数据,借助开源模型,使用零冗余优化模式在有限算力下进行增量预训练。实验表明:... 详细信息

为增强大语言模型领域专业性,提出军事气象领域增量预训练方法。文章使用低复杂度逻辑回归方法构建低质识别能力、SimHash构建冗余去除能力,通过采样高质量数据,借助开源模型,使用零冗余优化模式在有限算力下进行增量预训练。实验表明:①通用大模型在气象领域存在专业知识缺乏问题;②增量预训练可以有效提升领域知识水平;③增量预训练后模型对通用知识存在遗忘。未来将持续扩充和优化数据,提升模型领域效果,缓解遗忘现象。

关键词：增量预训练军事气象大语言模型预训练语言模型

来源：评论

学校读者我要写书评

暂无评论

油藏动态分析场景大模型构建与初步应用

引用

石油勘探与开发 2024年第5期51卷 1175-1182页

作者：潘焕泉刘剑桥龚斌朱艺亨白军辉黄虎方政保敬洪彬刘琛匡铁兰玉波王天智谢添程名哲秦彬沈榆将中国地质大学(武汉)资源学院武汉430074 黑龙江省油层物理与渗流力学重点实验室大庆163712 中国石油大庆油田有限责任公司勘探开发研究院大庆163712

针对目前油藏动态分析中井史数据检索与分析、连井剖面绘制、开发生产关键技术指标计算、油藏复杂问题的措施建议等方面的智能化需求,采用增量预训练、指令微调和功能子系统耦合3个步骤构建油藏动态分析场景大模型,提出了基于命名实体... 详细信息

针对目前油藏动态分析中井史数据检索与分析、连井剖面绘制、开发生产关键技术指标计算、油藏复杂问题的措施建议等方面的智能化需求,采用增量预训练、指令微调和功能子系统耦合3个步骤构建油藏动态分析场景大模型,提出了基于命名实体识别技术、工具调用技术、Text-to-SQL(自然语言转换成结构化查询语言)技术微调的功能子系统及其高效耦合方法,将人工智能大模型运用到油藏动态分析领域。测试了特征提取模型、工具分类模型、数据检索模型、分析建议模型的准确性,结果表明这些模型在油藏动态分析的各个关键环节均展现出了良好的性能。最后以大庆油田PK3区块部分注采井组为例,测试验证了油藏动态分析场景大模型在辅助油藏工程师进行油藏动态分析方面具有的运用价值和潜力,为大模型在油藏动态分析中的运用提供了较好的技术支持。

关键词：油藏动态分析人工智能大模型场景大模型增量预训练指令微调系统耦合实体识别工具调用

来源：评论

学校读者我要写书评

暂无评论

基于参数高效微调的藏文大模型研究

引用

中文信息学报 2024年第12期38卷 106-115页

作者：杨毛加柔特才智杰官却才让贡去卓么青海师范大学计算机学院青海西宁810016 省部共建藏语智能信息处理及应用国家重点实验室青海西宁810008

大模型是指拥有庞大参数量的深度学习模型,具备强大的表征学习和生成能力,对自然语言处理等领域产生了深远影响。随着技术的不断进步,大模型在性能和应用范围上不断取得突破,成为人工智能领域的研究热点。然而,大模型的发展也面临着一... 详细信息

大模型是指拥有庞大参数量的深度学习模型,具备强大的表征学习和生成能力,对自然语言处理等领域产生了深远影响。随着技术的不断进步,大模型在性能和应用范围上不断取得突破,成为人工智能领域的研究热点。然而,大模型的发展也面临着一些挑战,如模型训练成本高、参数冗余以及跨语言应用存在局限性等。特别地,在藏文这一具有独特语言特性的研究领域,大模型的研究尚处于起步阶段,缺乏相应的模型和资源支持。针对上述问题,该文通过基于LoRA的参数高效微调方法,提出了基于Llama2模型架构构建的Tibetan-Llama2和Tibetan-Alpaca模型,经过较大规模数据的增量预训练和指令微调,上述两种模型具备了对藏文的长文本理解和生成能力,展现了其多任务学习能力,并且在多个领域都有广泛的应用前景。

关键词：自然语言处理藏文大模型参数高效微调增量预训练指令微调

来源：评论

学校读者我要写书评

暂无评论

基于跨领域数据融合的事件抽取方法研究

基于跨领域数据融合的事件抽取方法研究

引用

作者：周述哲哈尔滨工业大学

学位级别：硕士

事件抽取任务在构建知识图谱、提取结构化信息等领域具有重要意义,然而,由于标注成本高昂,数据形式复杂,其数据集往往面临数量稀缺的问题。尽管许多研究者尝试通过优化模型结构并使用少样本方法来缓解这一问题,但仍然难以彻底解决。本... 详细信息

事件抽取任务在构建知识图谱、提取结构化信息等领域具有重要意义,然而,由于标注成本高昂,数据形式复杂,其数据集往往面临数量稀缺的问题。尽管许多研究者尝试通过优化模型结构并使用少样本方法来缓解这一问题,但仍然难以彻底解决。本课题从数据集扩增的角度考虑该问题,主要研究利用跨领域和跨任务的数据,通过增量预训练、多任务预训练以及指令微调的方法,对原有事件抽取数据集进行扩增,以增强模型在事件抽取任务上的效果。本课题还设计了能够更好地兼容来自不同领域且具有不同形式的数据的模型结构。具体而言,本课题主要有以下三个方面的工作: (1)提出了一种利用不同数据集进行跨领域增量预训练的方法,以提升模型在事件抽取任务上的性能。本课题对PLMEE与Joint EE两个模型提出了改进,并实现了增量预训练的完整流程。收集跨领域的数据集,以不同的组合对模型进行增量预训练,并在事件抽取任务上实验其效果。实验结果表明,使用任务相关数据进行增量预训练可以有效提高其在该任务上的表现。 (2)提出了一种利用跨任务的数据进行多任务预训练,以提升模型在事件抽取任务上性能的方法。本课题利用信息抽取领域的三个任务(命名实体识别、事件抽取、关系抽取)存在诸多共同点这一特性,分别基于生成式模型与判别式模型,设计了能够兼容多种任务的模型结构,并以多任务预训练加微调的方式进行训练。实验表明这种方式可以进一步提升模型在事件抽取任务上的性能。 (3)提出了一种利用指令微调大模型,通过提示学习与部分微调进行事件抽取的方法,以提升模型在事件抽取任务上的性能。本课题在基于指令微调的大模型的基础上,构建了设计与优化提示模版的流程,提升了利用少样本学习进行跨领域事件抽取的效果;通过Lo RA技术对大模型进行部分微调,提升了事件抽取任务在生成式模型上的效果。

关键词：事件抽取指令微调预训练提示学习增量预训练

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：