检索结果-内蒙古大学图书馆

空天预警研究学报 2023年第5期37卷 355-363页

作者：尹港港张峰郭继光中国电子科学研究院北京100041

随着航天科技和人类太空活动的快速演进,太空态势感知(SSA)的需求愈发突出.近些年,大规模预训练模型(LPTMs)在自然语言处理、图像处理、模式识别等领域表现卓越,在SSA中,这些技术也展现出巨大的应用潜力.为有效应对不断演变的太空环境... 详细信息

随着航天科技和人类太空活动的快速演进,太空态势感知(SSA)的需求愈发突出.近些年,大规模预训练模型(LPTMs)在自然语言处理、图像处理、模式识别等领域表现卓越,在SSA中,这些技术也展现出巨大的应用潜力.为有效应对不断演变的太空环境带来的挑战,首先分析了SSA领域存在的瓶颈问题;然后针对SSA领域中的应用需求,提出了一系列潜在优势和应用方向;最后探讨了大规模预训练模型在SSA领域应用过程中所面临的关键挑战及可能的解决方案.

关键词：太空态势感知大规模预训练模型自然语言处理图像处理

来源：评论

学校读者我要写书评

暂无评论

矿山行业大模型建设路径探索与应用展望

引用

煤炭科学技术 2024年第11期52卷 45-59页

作者：王海军煤炭科学研究总院有限公司矿山人工智能研究院北京100013 煤炭智能开采与岩层控制全国重点实验室北京100013 天地科技股份有限公司北京100013

煤炭是保障能源安全的压舱石。在当前加快发展数字经济、积极稳妥推进“双碳”目标的背景下,煤炭行业亟需深化数字化转型与智能化建设。在此背景下,探索引入大模型技术赋能煤炭行业应用,充分利用行业海量知识数据,加快推动煤炭行业的数... 详细信息

煤炭是保障能源安全的压舱石。在当前加快发展数字经济、积极稳妥推进“双碳”目标的背景下,煤炭行业亟需深化数字化转型与智能化建设。在此背景下,探索引入大模型技术赋能煤炭行业应用,充分利用行业海量知识数据,加快推动煤炭行业的数字化发展,已成为行业关注的焦点。基于此,梳理了通用大模型技术的发展现状,阐述了大模型技术在多领域的应用现状与成效,介绍了数据处理(清洗、平衡、增强等)、文本分词、预训练与微调、提示词优化、向量嵌入、对齐、检索增强生成等行业大模型关键技术,表明了行业大模型在继承通用大模型“通”的优势的同时又兼具“专”的特点,在推动行业生产力革新和产业升级方面发挥着重要作用。深度剖析了大模型技术在煤炭行业应用面临研发投入成本高、高质量数据搜集难度大、多模态数据融合技术难度高等挑战,从基础设施层、数据资源层、算法模型层、应用服务层、安全可信与测试层、行业生态层六方面详细总结了太阳石矿山大模型为应对上述挑战采取的建设路径以及取得的阶段性成效,最后对大模型技术的发展给煤炭行业带来的生产与技术变革进行了展望,指出矿山行业大模型建设应遵循开源模型与行业数据相结合的路径,发挥大模型的工具属性以赋能业务场景、构建“产-学-研-用”相结合的应用生态,助力矿山行业新质生产力的发展。

关键词：大规模预训练模型矿山行业大模型太阳石矿山大模型检索增强生成知识标签体系

来源：评论

学校读者我要写书评

暂无评论

基于软提示微调和强化学习的网络安全命名实体识别方法研究

引用

通信学报 2024年第10期45卷 1-16页

作者：田泽庶刘春雨张云婷张嘉宇孟超张宏莉哈尔滨工业大学计算学部黑龙江哈尔滨150001

随着网络技术的迅猛发展,新型网络安全威胁不断涌现,网络安全命名实体识别重要性日益增加。针对现有基于大语言模型的命名实体识别方法在网络安全领域识别准确率差的问题,提出了一种结合软提示微调和强化学习的网络安全命名实体识别方... 详细信息

随着网络技术的迅猛发展,新型网络安全威胁不断涌现,网络安全命名实体识别重要性日益增加。针对现有基于大语言模型的命名实体识别方法在网络安全领域识别准确率差的问题,提出了一种结合软提示微调和强化学习的网络安全命名实体识别方法。通过结合软提示微调技术,针对网络安全领域的复杂性,精细调整大语言模型的识别能力,提升模型对网络安全命名实体的识别准确率,同时优化训练效率。此外,提出了基于强化学习的网络安全实体筛选器,可以有效去除训练集中的低质量标注,从而提升识别准确率。在2个开源基准网络安全实体识别数据集上评估了所提方法,实验结果表明,所提方法的F1值优于现有最佳的网络安全命名实体识别方法。

关键词：网络安全命名实体识别软提示微调强化学习大规模预训练模型

来源：评论

学校读者我要写书评

暂无评论

视觉提示学习综述

引用

计算机学报 2024年第4期47卷 790-820页

作者：廖宁曹敏严骏驰上海交通大学人工智能教育部重点实验室上海200240 苏州大学计算机科学与技术学院江苏苏州215021

近年来,随着提示学习方法在自然语言处理领域被提出,其日益受到研究人员广泛关注,它通过将各类下游任务重构成预训练任务的形式,以参数高效和数据高效的方式将大规模预训练模型应用在各类自然语言相关下游任务中.其中以GPT系列为代表的... 详细信息

近年来,随着提示学习方法在自然语言处理领域被提出,其日益受到研究人员广泛关注,它通过将各类下游任务重构成预训练任务的形式,以参数高效和数据高效的方式将大规模预训练模型应用在各类自然语言相关下游任务中.其中以GPT系列为代表的模型通过提示学习在对话生成和多模态图文理解等任务上取得了巨大的成功.然而,这类模型及方法还不能解决视觉中的稠密任务.受此启发,一些研究人员逐渐将提示学习广泛应用到视觉相关的各类任务当中,如图像识别、目标检测、图像分割、领域适应、持续学习等.由于目前还没有提示学习应用在视觉相关领域中的综述,本文将对视觉单模态领域以及视觉语言多模态领域的提示学习方法展开全面论述和分析.作为回顾,我们首先简要介绍自然语言处理领域的预训练模型,并对提示学习的基本概念、下游应用形式以及提示模板类型进行阐述和分类.其次,我们分别介绍视觉单模态领域以及视觉语言多模态领域里提示学习方法适配的预训练模型和任务.再次,我们分别介绍视觉单模态领域以及视觉语言多模态领域的提示学习方法.在自然语言处理领域,提示学习方法以继承预训练形式实现多任务统一为主要目的;与此不同,在视觉相关领域,提示学习方法侧重于面向特定下游任务进行设计.为此,我们将从方法设计上进行简单分类,然后从应用任务角度详细介绍视觉单模态提示学习和视觉语言多模态提示学习方法.最后,我们对比分析了自然语言处理领域和视觉相关领域提示学习研究的进展,并对未来研究路线给出了展望。

关键词：大规模预训练模型自然语言处理视觉单模态提示学习视觉语言多模态提示学习

来源：评论

学校读者我要写书评

暂无评论

基于视觉问答模型的鲁棒性研究

基于视觉问答模型的鲁棒性研究

引用

作者：陈千电子科技大学

学位级别：硕士

随着深度学习的快速发展,图像分类、物体检测和视觉问答等任务均取得了显著进展。其中视觉问答任务涉及计算机视觉和自然语言处理领域,它要求模型基于特定的图像、文本或视频回答问题,近年来受到了广泛关注。且由于跨模态注意力机制、... 详细信息

随着深度学习的快速发展,图像分类、物体检测和视觉问答等任务均取得了显著进展。其中视觉问答任务涉及计算机视觉和自然语言处理领域,它要求模型基于特定的图像、文本或视频回答问题,近年来受到了广泛关注。且由于跨模态注意力机制、大规模多模态预训练方法等技术的不断涌现,该任务已愈发成熟。然而,研究表明,视觉问答任务目前仍存在以下问题:一是现有的视觉问答模型鲁棒性评估指标尚不全面和准确,模型对语言偏见及数据集分布极为敏感;二是大型语言模型专注于处理语言信息,而在处理视觉信息方面仍存在局限性。因此,如何有效结合视觉基础模型与大型语言模型,以提升系统在视觉问答任务中的准确性与鲁棒性,已成为当前重要的研究方向。针对第一个问题,本文提出了新的基于基础视觉问答模型的评估策略,在数据分布变化最为明显的上下文中检验预测误差,并在VQA-CP、GQA、GQA-OOD等三个基准数据集上对LSTM、BAN、BUTD、MCAN、MMN、LXMERT等六个视觉问答模型进行了训练和评估。此外,本文还基于MMDialog和GQA数据集执行了六个针对视觉与语言扰动的细粒度能力测试,以量化模型对微小语言变化的鲁棒性和理解能力。实验结果表明,通过扩大数据集的规模以及使用大规模预训练的LXMERT模型可以有效提高模型在低频样本上的鲁棒性。同时,视觉扰动测试表明,即便是进行微小的扰动也可能导致模型性能下降。针对第二个问题,本文构建了一个基于对比学习的跨模态预训练模型。该模型使用深度残差网络Res Net50和Vi T-B/16作为图像编码器,使用带有因果注意掩码的Transformer架构作为文本编码器,从而精准捕获视觉和语言中的关键信息。本文进一步设计了文本转换模块以及答案过滤模块,以优化有关文本数据处理的技术流程并提高生成答案的准确性。本方法在VQA2.0基准数据集上进行实验,并将所得结果与其他先进的方法做对比。实验结果表明,本文提出的模型在小样本学习场景下优于基线模型,有效提升了视觉问答任务的准确性和泛化能力。

关键词：视觉问答任务大规模预训练模型评估策略鲁棒性分析

来源：评论

学校读者我要写书评

暂无评论

基于图卷积神经网络与Bert模型的文本分类方法研究

基于图卷积神经网络与Bert模型的文本分类方法研究

引用

作者：秦忠正武汉纺织大学

学位级别：硕士

文本分类是自然语言处理中的一项基础任务,目的是将文本数据分配到预先定义的类别中。随着对文本分类任务深入研究,图卷积神经网络的传导学习训练方式和大规模的预训练模型Bert相结合在文本分类任务中取得了良好的效果。此类方法在训练... 详细信息

文本分类是自然语言处理中的一项基础任务,目的是将文本数据分配到预先定义的类别中。随着对文本分类任务深入研究,图卷积神经网络的传导学习训练方式和大规模的预训练模型Bert相结合在文本分类任务中取得了良好的效果。此类方法在训练过程中,大规模异构图中无向的信息传递会产生噪声影响模型的判断,造成模型分类性能下降,针对这一问题本研究提出两种不同方案解决。本研究提出了CAGCN模型,在降低分类无关信息干扰的同时增强特征的核心语义信息,从而提升模型的分类性能。首先,CAGCN模型在训练时采用TextGCN中的构图法构建邻接矩阵,与GCN和BERT模型相结合成为类生成器。其次,在模型训练时采用伪标签特征训练法,并构建聚类器与类生成器联合训练,达到类生成对抗训练的目的。通过伪标签特征训练法,模型将生成器中的训练集和测试集数据进行标签预测,并对同类数据进行相似度计算,使得特征间的相似性更加紧密,从而优化模型的分类效果,降低噪声对模型训练时产生的影响。在此基础上,本研究提出SimCL对比学习方法和选择连词构图方法。在SimCL差异对比损失算法中,模型将选择连词构图的GCN训练后的特征视为正样本,把与目标数据不同类别的特征作为负样本来进行训练。这种方式让同类样本的特征在特征空间中更加紧密地聚集在一起,而异类样本的特征彼此疏远,让模型更容易地学习同类的特征分布信息提升模型的分类精度。在选择连词构图方法中,模型通过在构图时主动减少词节点的连接信息进一步优化图的结构,从图信息传导上降低噪声问题的影响。训练时,本研究提供三种构图方式即1-connection、2-connection和0-connection来减少词对图训练产生的影响,并通过对比学习训练方式最大程度提升该方法的效果。本研究提出的方法在多个广泛使用的数据集中进行了实验,这些分类数据集包括20NG、R8、R52、Ohsumed、MR,实验结果表明本文模型方法与其他模型相比显现出更好的性能。

关键词：对比学习图卷积神经网络大规模预训练模型伪标签异构图

来源：评论

学校读者我要写书评

暂无评论

基于大模型及强化学习的交互式移动抓取机器人系统

基于大模型及强化学习的交互式移动抓取机器人系统

引用

作者：李宇山东大学

学位级别：硕士

移动抓取机器人兼具移动机器人以及机械臂两类机器人特性，具有执行复杂任务的能力，其导航和抓取等任务的实现是当下研究的热点。要实现机器人的移动抓取，首先要具有对指令以及环境的理解能力，同时还需要一种不需要长时间参数整定的... 详细信息

移动抓取机器人兼具移动机器人以及机械臂两类机器人特性，具有执行复杂任务的能力，其导航和抓取等任务的实现是当下研究的热点。要实现机器人的移动抓取，首先要具有对指令以及环境的理解能力，同时还需要一种不需要长时间参数整定的良好避障能力。当下，有研究将机器人与大规模预训练模型相结合，进而利用其出色的泛化性能来完成目标导航。然而，现有的许多方法仍然缺乏对环境的有效理解，导致其在目标导航任务中存在些许不足，例如只能将描述文字与观测图片而非具体物体坐标进行匹配等。此外，一些方法仅在仿真环境测试，其导航模块相对薄弱。针对上述问题，本文提出了一种基于大规模预训练模型以及强化学习局部路径规划的移动抓取机器人系统。　　在感知层面，设计了一种基于大规模预训练模型的视觉场景表征，通过视觉语言模型提取机器人观测中的物体特征，自主覆盖目标区域并构建环境的视觉场景表征。这一表征可以有效回复开放词汇表的查询，通过自然语言询问得到某一物体在场景中的具体位置坐标。基于该坐标，机器人系统能够实现精准的目标导航，同时为后续基于机械臂的操作提供基础。　　在导航层面，实现了一种基于深度强化学习的局部路径规划算法，通过设计的补盲模块综合利用历史雷达观测信息，并通过合理的奖励函数设置有效提升避障的整体表现。此外，针对常见场景，使用主动脱困、精准导航等方法对算法进行优化，进一步增强在真实平台部署时的性能。　　在实现层面，使用大语言模型分析用户下达的指令，通过合理设计提示工程，有效提取任务组成，并使用视觉场景表征对目标地点进行位置查询。通过将语言指令拆解成机器人可执行的任务序列以实现各种复杂任务，实现了一种智能的交互式移动抓取机器人系统。　　最后，本文方法部署在了真实的移动抓取机器人平台，并在真实环境中进行了测试，证明了论文方法的有效性。

关键词：移动抓取机器人大规模预训练模型局部路径规划深度强化学习

来源：评论

学校读者我要写书评

暂无评论

人工智能大模型发展趋势及电信运营商应对策略

引用

电信工程技术与标准化 2024年第4期37卷 82-87,92页

作者：傅云瑾王浩亮曲广龙吴以頔张晓娟中国移动通信集团设计院有限公司北京100080

以ChatGPT为代表的大规模预训练模型引发了AI的新一轮技术革命,可能成为新型信息产业的关键能力底座,对电信运营商数字化转型战略带来重大影响。本文从人工智能大模型发展现状、核心要素、技术趋势和关键影响进行分析,结合电信运营商策... 详细信息

以ChatGPT为代表的大规模预训练模型引发了AI的新一轮技术革命,可能成为新型信息产业的关键能力底座,对电信运营商数字化转型战略带来重大影响。本文从人工智能大模型发展现状、核心要素、技术趋势和关键影响进行分析,结合电信运营商策略动向,通过SWOT分析,提出了电信运营商在人才、技术、数据和商业模式等方面面临的问题,并提出加强自主技术攻关研发、推进大模型生态合作等应对策略建议。

关键词：大规模预训练模型人工智能电信运营商数字化转型

来源：评论

学校读者我要写书评

暂无评论

基于图神经网络的短文本分类方法研究

基于图神经网络的短文本分类方法研究

引用

作者：淦亚婷天津商业大学

学位级别：硕士

在互联网时代,随着移动终端的不断普及,短文本已成为互联网信息传递的重要载体。但短文本数量庞大、内容嘈杂,快速、准确地从中查找出重要信息,充分发挥其价值,仍具有一定挑战性。在此背景下,短文本分类技术自动对短文本数据进行快速、... 详细信息

在互联网时代,随着移动终端的不断普及,短文本已成为互联网信息传递的重要载体。但短文本数量庞大、内容嘈杂,快速、准确地从中查找出重要信息,充分发挥其价值,仍具有一定挑战性。在此背景下,短文本分类技术自动对短文本数据进行快速、准确地划分,不仅有助于查找出有价值信息,辅助决策的制定,还能加强对短文本数据的高效管理。图神经网络将图数据与深度学习技术有效结合,能够处理具有结构关系的文本数据,学习文本的全局语义特征。然而,受短文本篇幅短、信息少的影响,基于图神经网络的模型存在文本图上信息传递受限,学习文本信息不充分等问题。基于此,本文提出利用文本相似度来构建文本图中文本节点间的边,并结合无监督预训练模型Bert在理解文本语义上的优势的图神经网络短文本分类模型。首先,构建文本图。以词、整条文本为节点,通过PPMI、TF-ID等文本特征,在词节点间、词节点与文本节点间分别构建边,以获取词间的共现关系以及词与文本间的区分关系。在此基础上,提出利用Jaccard相似度、余弦相似度两种方法在文本节点间构建边,使话题相同或更为相似的文本节点间相互传递信息,实现文本语义信息上的互补作用,从而增强文本图上的信息传递,使得模型学习短文本信息更加充分。其次,获取图神经网络模型的初始特征矩阵。引入无监督大规模预训练通用模型Chinese-Bert-wwm和roberta-base,分别在中、英文分类任务上进行微调,得到学习了短文本丰富语义信息的文本向量表示。对词节点利用其One-Hot向量进行表示,然后将文本向量表示与词向量表示进行拼接,作为图神经网络模型初始特征矩阵。最后,对建模方法进行验证性实验。实验分别在Chnsenticrop1、Chnsenticrop2、weibo＿21三个中文短文本数据集以及MR、R8、Web KB等三个英文短文本数据集上进行。其中,在中文数据集上,分别基于字符、词来计算Jaccard相似度构建文本节点间的边。通过与Text CNNrand、Bi-LSTM、Text GCN等基线模型和不在文本节点间构建边的模型进行对比分析,并针对文本相似度阈值设计消融实验进行进一步模型效果验证,可以得出:本文提出的模型在实验数据集上取得了最优的分类效果,验证了利用文本相似度构建边传递文本信息在短文本分类上的有效性、大规模预训练模型获得短文本特征表示在短文本分类上的有效性以及将两者相结合利用图神经网络进行短分类的有效性。论文利用文本相似度构建文本节点间的边、大规模预训练模型Bert获取文本特征表示,在图神经网络模型上进行有效结合,使得模型在理解短文本语义信息的同时,考虑了文本间的关系信息,有效缓解了短文本篇幅短、信息少等对分类效果的影响。文章将基于大规模预训练模型、文本相似度计算等无监督方法获取的文本信息融入有监督的图神经网络分类任务中,具有一定的创新性。

关键词：短文本分类图神经网络文本相似度大规模预训练模型

来源：评论

学校读者我要写书评

暂无评论

智能计算驱动的蛋白质与多肽结合预测方法研究

智能计算驱动的蛋白质与多肽结合预测方法研究

引用

作者：王汝恒山东大学

学位级别：硕士

蛋白质与多肽相互作用在理解蛋白质功能和探索药物发现等方面发挥着重要作用。识别蛋白质-多肽结合位点对于深入了解这些相互作用至关重要。随着机器学习的发展与广泛应用,利用计算方法预测蛋白质和多肽相互作用和其结合位点已经成为生... 详细信息

蛋白质与多肽相互作用在理解蛋白质功能和探索药物发现等方面发挥着重要作用。识别蛋白质-多肽结合位点对于深入了解这些相互作用至关重要。随着机器学习的发展与广泛应用,利用计算方法预测蛋白质和多肽相互作用和其结合位点已经成为生物学研究的重要方向之一。但是,现有的预测蛋白质与多肽结合位点的计算方法大都需要依赖第三方工具进行手工特征设计,容易导致较低的计算效率和较差的预测性能。同时,目前还没有方法可以同时预测蛋白质与多肽二元相互作用及其结合位点。此外,新一代测序技术的发展带来了海量生物序列数据,包括基因组、转录组以及蛋白质组等。为挖掘与分析生物序列与其功能结构之间的关系,最近开发了大量基于机器学习的生物序列分析平台,但是这些平台大都不能实现自动化流程,提供的深度学习框架较少,并且结果分析比较单一。因此,对于非计算机背景的研究人员非常需要一个完全基于深度学习的一站式生物序列功能综合分析平台。本文面向蛋白质与多肽结合数据以及高通量生物序列数据,围绕相互作用及位点预测与生物序列功能分析平台搭建,进行了以下研究:1.针对蛋白质与多肽结合位点的预测,面向现有计算方法存在的繁杂的特征设计问题,本文提出了基于大规模预训练模型与对比学习的端到端的预测方法PepBCL。本研究引入了在大规模数据集上预训练的蛋白质语言模型来自动提取和学习与蛋白质结构和功能相关的高质量表示。通过对比学习策略,进一步优化了不平衡数据集中结合位点的特征表示。在基准数据集上,本文提出的PepBCL方法在所有指标方面优于现有的基于序列的方法,在大多数指标方面优于基于结构的方法。此外,本研究还探讨了PepBCL中注意力机制对于蛋白质结合区域中结合位点周围残基序列特征的挖掘能力,从而对模型如何预测结合位点进行了一定的解释。2.面向现有方法存在的不能同时预测蛋白质与多肽的二元相互作用以及它们之间的结合位点问题,本文提出了基于多任务学习策略的预测方法CPPIF。通过多任务学习训练策略,不同任务间可以相互辅助,从而实现了比单任务训练预测性能的提升。为了学习蛋白质与多肽之间的交互信息,本研究创新性的将它们一起放入预训练模型中编码学习特征表示。基准数据集上的实验结果表明,本文提出的方法在蛋白质-多肽二元相互作用与结合位点预测任务上都优于现有方法。另外,本研究还探索了模型对于潜在的蛋白质-多肽相互作用的挖掘能力,并通过分子对接实验进行了验证。3.针对现有生物序列分析平台存在的深度学习方法较少与结果分析单一的问题,本文提出了可用于高通量生物序列功能分析的深度学习计算平台DeepBIO。DeepBIO支持42种深度学习算法,使研究人员能够根据生物学问题选择适合的算法,并自动进行模型训练、优化和评估。同时,DeepBIO提供了全面的结果可视化分析,包括模型可解释性、特征分析和功能序列区域发现等方面。此外,DeepBIO还支持9个功能位点注释任务,运用详细的可视化分析验证注释位点的可靠性。

关键词：蛋白质与多肽结合位点预测蛋白质与多肽相互作用预测大规模预训练模型机器学习生物序列分析平台

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：