检索结果-内蒙古大学图书馆

计算机应用研究 2025年第3期42卷 708-713页

作者：翟梦鑫周艳玲余杭湖北大学计算机与信息工程学院武汉430062 湖北大学人工智能学院武汉430062

低资源场景下提示调优比带有额外分类器的通用微调方法(fine-tuning)分类性能好,但提示调优中设计一个较好的提示模板和标签词映射器需要花费大量的精力。针对该问题,提出问题导向式提示调优的小样本分类方法(question-oriented prompt-... 详细信息

低资源场景下提示调优比带有额外分类器的通用微调方法(fine-tuning)分类性能好,但提示调优中设计一个较好的提示模板和标签词映射器需要花费大量的精力。针对该问题,提出问题导向式提示调优的小样本分类方法(question-oriented prompt-tuning,QPT)。首先,利用数据集标签和可训练的连续提示构建提问形式的模板,通过预训练模型学习到最优提示模板;然后,每条样本用模板进行填充,将文本分类任务转换成完形填空任务;最后,使用外部知识及两种细化方法构建标签词映射器,通过预测的标签词与分类标签的映射关系得出分类结果。在公开数据集AG’s News和IMDB上进行实验,结果表明,该方法在5-shot、10-shot和20-shot任务上性能均有所提升,在5-shot任务上准确率分别提高了0.81和1.36百分点,与基线模型相比,不仅易于实现且性能取得了最优。

关键词：小样本文本分类提示调优问题导向式模板

来源：评论

学校读者我要写书评

暂无评论

基于文本图神经网络的小样本文本分类技术研究

引用

河北科技大学学报 2024年第1期45卷 52-58页

作者：安相成刘保柱甘精伟中国电子科技集团公司第五十四研究所河北石家庄050051

为了解决文本图神经网络小样本文本分类精度较差的问题,设计了基于文本图神经网络的原型网络,采用预训练语言模型,利用文本级图神经网络为每个输入文本构建图并共享全局参数,将文本图神经网络的结果作为原型网络的输入,对未标注文本进... 详细信息

为了解决文本图神经网络小样本文本分类精度较差的问题,设计了基于文本图神经网络的原型网络,采用预训练语言模型,利用文本级图神经网络为每个输入文本构建图并共享全局参数,将文本图神经网络的结果作为原型网络的输入,对未标注文本进行分类,并验证新模型在多个文本分类数据集上的有效性。实验结果表明,与需要大量标注文档的监督学习方法相比,所采用的方法未标注文本的分类精度提高了1%~3%,在多个文本分类数据集上验证了新模型性能先进,内存占用更少。研究结果可为解决小样本文本分类问题提供参考。

关键词：自然语言处理小样本文本分类预训练模型图神经网络原型网络

来源：评论

学校读者我要写书评

暂无评论

基于HFGNN和HAPN的小样本文本分类

基于HFGNN和HAPN的小样本文本分类

引用

作者：郭新宇河北大学

学位级别：硕士

深度学习的巨大成功推动了文本分类研究的发展,但基于深度学习的分类模型的有效性依赖于大量标记文本。当标记文本数量不足时,文本分类模型的泛化能力会受到严重限制。而人类所具有的通过少量样例建立事物认知的快速学习能力,激发了研... 详细信息

深度学习的巨大成功推动了文本分类研究的发展,但基于深度学习的分类模型的有效性依赖于大量标记文本。当标记文本数量不足时,文本分类模型的泛化能力会受到严重限制。而人类所具有的通过少量样例建立事物认知的快速学习能力,激发了研究人员对小样本文本分类方法的探索。现有的小样本文本分类方法主要利用文本的语义特征对部分样本间的实例级关系进行建模,然而单一的关系信息使模型难以应对复杂多变的文本任务。对此,本文提出犹豫模糊图神经网络(Hesitant Fuzzy Graph Neural Network,HFGNN),该模型能够探索文本间多属性关系并利用这些关系构建更具区分性的文本特征,并设计混合注意力原型网络(Hybrid Attention Prototypical Network,HAPN)将增强后的特征映射到原型空间内,计算类原型并分类查询样本。主要研究内容如下: (1)针对小样本文本分类任务中可利用信息少、文本间关系复杂的问题,构建实例图和分布图的双图神经网络来发掘文本间的多属性关系。在利用关系增强文本特征的过程中,对多种关系的使用存在着犹豫不决的问题,并且节点特征在信息聚合过程中容易受到低关联度节点所带来的噪声影响。针对这些问题,首先将犹豫模糊集理论引入到图神经网络中对多属性关系进行综合评价;然后设计线性函数将融合后的关系映射到更合理范围,避免噪声传播。 (2)针对HFGNN无法实现边分类的问题以及实例特征维度较高,难以处理的问题,设计混合注意力原型网络来执行分类过程。混合注意力原型网络将高维实例特征映射到低维空间中,并结合实例级和特征级注意力分类查询样本。 (3)设计实验并分析实验结果。在多个数据集上和基线模型进行对比实验来证明模型的有效性。构建消融实验证明多属性关系、犹豫模糊集理论以及线性函数对模型的作用。

关键词：小样本文本分类犹豫模糊图神经网络多属性关系犹豫模糊集混合注意力原型网络

来源：评论

学校读者我要写书评

暂无评论

基于对比学习的在线半监督小样本文本分类方法研究

基于对比学习的在线半监督小样本文本分类方法研究

引用

作者：康妹东北师范大学

学位级别：硕士

目前,在标注数据充足的情况下,基于深度学习的文本分类方法已经在各种自然语言处理任务中取得了良好的性能。然而,文本数据标注的代价非常高,它要求标注人员经过专业的训练。标注数据的稀缺严重影响了文本分类的性能,为了解决这一问题,... 详细信息

目前,在标注数据充足的情况下,基于深度学习的文本分类方法已经在各种自然语言处理任务中取得了良好的性能。然而,文本数据标注的代价非常高,它要求标注人员经过专业的训练。标注数据的稀缺严重影响了文本分类的性能,为了解决这一问题,研究者们提出了半监督小样本的文本分类方法。这些方法能够使用少量的标注样本和大量的未标注样本对文本分类模型进行有效的训练。现有的半监督小样本文本分类方法都是以离线的方式用静态的文本数据对模型进行训练。但互联网上的各种文本数据呈现指数级的爆炸式增长,每天都会有新的文本数据出现。为了使模型适应每天产生的新数据,每次从零开始重新训练模型是不现实的,这非常耗时而且效率也非常低。所以,研究如何使文本分类模型能够随着文本数据流的变化进行在线学习是非常有意义的。为此,本文研究了在线半监督小样本文本分类方法,具体研究工作如下:(1)提出一种在线半监督小样本文本分类模型(Online Semi-Supervised Few-Shot Text Classification,OSSFSTC),以解决小样本文本数据流的在线分类问题。模型采用经典的编码器-分类器结构。在编码阶段,首先使用BiLSTM对文本中的单词进行编码得到每个单词的嵌入表示,然后使用注意力机制学习文本中单词的权重,用学习得到的单词权重对相应的单词嵌入进行加权求和得到文本的嵌入表示。本文使用原型记忆网络学习每个类的原型表示,在分类时,通过计算文本与类原型之间的距离确定文本类别。在在线学习过程中,本文采用循环神经网络动态学习和积累历史知识,并利用这些知识对当前遇到的文本进行分类。此外,本文在原型网络中采用阈值的方法来确定当前文本类别是否是已知类别。(2)提出一种基于对比学习的在线半监督小样本文本分类模型(Online Semi-Supervised Few-Shot Text Classification based on Contrastive Learning,OSSFSTC-CL)。在OSSFSTC中,编码器的性能不仅影响文本的编码结果,同时还影响类原型的表示,从而影响文本的分类效果。对比学习作为自监督学习的重要方法之一,能够利用未标记的数据来学习文本的底层表示,已经在机器学习的多个领域取得了良好的性能。为了进一步提高编码器的性能,本文将对比学习方法引入到文本表示学习中。具体来说,在文本经过编码器编码后,首先随机选取一个文本作为锚点,将与它类别相同的文本作为正样本,类别不同的文本作为负样本。然后,计算锚点与正样本、锚点与负样本之间的相似度。最后,通过构建对比学习损失函数,使锚点与正样本之间的相似度大于锚点与负样本之间的相似度,从而提高编码器的性能。(3)为了验证本文提出模型的性能,在Amazon和Yelp数据集上做了丰富的对比实验,实验结果表明本文提出的模型优于现有的基线模型。

关键词：小样本文本分类在线学习半监督学习原型网络对比学习

来源：评论

学校读者我要写书评

暂无评论

基于元学习的小样本文本分类研究

基于元学习的小样本文本分类研究

引用

作者：范泽秋华东师范大学

学位级别：硕士

随着近年来深度学习的蓬勃发展,在自然语言处理领域,基于深度学习的文本分类算法已经取得了很好的分类效果。不过目前基于深度学习的文本分类算法往往需要大量标注数据才能得到较好准确率,而在一些特殊领域,训练数据不足是一个不可避免... 详细信息

随着近年来深度学习的蓬勃发展,在自然语言处理领域,基于深度学习的文本分类算法已经取得了很好的分类效果。不过目前基于深度学习的文本分类算法往往需要大量标注数据才能得到较好准确率,而在一些特殊领域,训练数据不足是一个不可避免的问题,数据的收集非常复杂与昂贵,这使得建立一个大规模、高质量的带标注数据集变得非常困难。因此,小样本文本分类问题成为了当前研究的一个热点。本文首先对当前小样本文本分类问题中,重要的带标注数据集规模小的问题做了深入的研究,结合领域自适应等方法,提出了新的元学习框架下的小样本文本分类模型,该模型能够识别重要的词汇特征以快速提高在小样本文本数据集上的适应性与分类准确率。之后针对部分小样本数据集标注质量不高、存在噪音的问题,本文在原型网络的基础上引入了独特的注意力机制以减小噪音带来的影响,尽可能地提高在噪音环境下的分类准确度。并通过对比实验、消融实验等科学方法,验证了本文所提出两个小样本文本分类模型的有效性。同时开发了一个小样本文本分类原型系统,基于微服务架构,保证了该系统的鲁棒性、可用性和易拓展性。具体研究内容与贡献如下:1.提出元学习框架下的领域自适应网络MLADA。全称为元学习框架下的基于对抗性领域自适应网络MLADA,该模型利用两个相互竞争的神经网络,分别扮演领域判别者和元知识生成者的角色,通过对抗性网络来加强元学习框架对新数据集的适应性。此外,该模型还将元知识生成器产生的可转移的特征与句子的特定特征结合起来,来迅速产生在训练数据中未见过的高质量句子表征向量,最后使用岭回归来获得最终的分类结果。2.提出基于动态原型网络的DAPROTO模型。该模型主要用于带噪音情况下小样本文本分类任务。该模型在基于度量的元学习模型原型网络的基础上,加入了两个注意力机制,一个是粗粒度注意力,突出那些与分类类别相关的词汇,另一个是细粒度注意力,缓解特征稀疏的问题,使得模型能更好地减少噪音带来的影响。3.设计并实现了一套基于微服务架构的小样本文本分类原型系统。该系统基本实现了小样本文本分类问题相关的大部分功能,如数据采集、数据预处理、模型训练、模型管理,并提供了数据集生成、在线小样本分类等功能。该系统使用了微服务架构,每个微服务之间相对独立,部署时可以运行在不同的服务器上,业务上又可以保持数据、信息的交互,以此来保证该系统的高扩展性与稳定性。综上所述,本文研究小样本文本分类问题,提出了两个基于元学习框架的文本分类模型,实验结果表明,这两个模型分别在规模很小与带噪音的小样本文本数据集上取得了很好的文本分类效果。此外,本文还结合微服务架构,开发了一个小样本文本分类原型系统。

关键词：小样本文本分类元学习领域自适应注意力机制微服务

来源：评论

学校读者我要写书评

暂无评论

基于混合提示学习的中医病案小样本分类方法

引用

计算机应用与软件 2024年

作者：冯慧敏谭红叶林浩楠山西大学计算机与信息技术学院山西大学计算智能与中文信息处理教育部重点实验室

中医病案是对患者诊疗过程的记录，具有很高的研究价值，然而目前中医领域公开可用的数据资源不足。针对中医病案小样本分类问题，提出了一种基于混合提示学习的方法。该方法具有以下特点：（1）设计了离散提示与连续提示相结合的中医... 详细信息

中医病案是对患者诊疗过程的记录，具有很高的研究价值，然而目前中医领域公开可用的数据资源不足。针对中医病案小样本分类问题，提出了一种基于混合提示学习的方法。该方法具有以下特点：（1）设计了离散提示与连续提示相结合的中医混合提示模板，将病案分类任务的输入建模成适配预训练模型处理的形式，以充分利用模型中的先验知识；（2）使用外部知识库扩展每个中医类别的标签词集合，将不同类型的中医知识以相关词形式融入到映射器中，加强了中医类别和病案文本之间的语义关联。实验结果表明，在两个公开数据集的不同数量小样本上，该方法均优于现有的基线方法。

关键词：中医病案小样本文本分类混合提示学习知识库

来源：评论

学校读者我要写书评

暂无评论

基于知识图谱的法律问答系统的设计与研究

基于知识图谱的法律问答系统的设计与研究

引用

作者：侯礼灏西京学院

学位级别：硕士

随着我国不断推进依法治国,法律普及工作受重视程度越来越高,民众的法律意识也随之提高。我国建设法治社会的建设离不开法律工作者的援助,但是由于法律的专业性较高,相关咨询服务费用高并且存在回答信息良莠不齐的问题,使得当前法律普... 详细信息

随着我国不断推进依法治国,法律普及工作受重视程度越来越高,民众的法律意识也随之提高。我国建设法治社会的建设离不开法律工作者的援助,但是由于法律的专业性较高,相关咨询服务费用高并且存在回答信息良莠不齐的问题,使得当前法律普及仍处于困境之中。通过搜索引擎获取法律知识的方法,存在检索量大、信息庞大繁杂、广告遍布等问题,进而导致了部分群众想懂法用法却无从下手。目前互联网上相关问答系统在进行问题检索分析时使用了关键词匹配和问题库检索两种技术,前者无法挖掘深层语义,后者受限于问题库规模。针对以上问题,本文做出了如下工作: (1)对于当前法律问答系统采用简单问答模型,忽视行业知识,缺少专业性的现状,本文利用知识图谱能够整合关联海量数据并且表达简洁高效的特点,提出了构建基于知识图谱的法律问答系统。系统主要由知识图谱构建模块、法律知识问答模块组成。 (2)为了构建高质量知识图谱,本文使用了哈工大Mac BERT语言模型,并在模型后添加双向长短期记忆网络和条件随机场构建实体识别模型,来帮助计算机提取出法律问题中的法律实体并为问答模块、知识图谱构建模块提供技术支撑,实验结果表明该模型在法律文本识别领域取得了很好的成绩。 (3)对于法律问答样本偏少导致问句解析效果不好进而影响问答系统准确性的问题,本文提出了基于BERT的小样本文本分类方法,使用在大规模中文文本中训练过的模型对目标领域数据进行训练,实验表明本文提出的小样本分类方法具有很好的效果。本文使用Flask框架来创建一个基于知识图谱的问答系统,以便向读者提供一个高效且无需任何技术难度的法律问答平台,同时也提供了自动化、智能化的法律咨询服务。系统通过浏览器访问,系统在收到输入的问题后对其进行解析,通过实体识别模型和文本分类方法获得问题中的法律实体,然后根据实体在知识图谱中进行查询,生成答案,最后将答案展示在系统界面。能够降低用户咨询成本,提升法律服务质量,为用户提供快捷、免费且准确的问答服务,同时也解决了如今环境下的供需矛盾。

关键词：知识图谱问答系统 BERT MacBERT 小样本文本分类

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的紧急电话识别关键技术研究

基于深度学习的紧急电话识别关键技术研究

引用

作者：张晓宇浙江理工大学

学位级别：硕士

智慧社区作为新型社区发展的趋势,近几年得到了快速的发展,智慧物业作为智慧社区的评判标准之一也面临着变革和突破。物业电话是联系物业和业主的有效手段,如何高效解决拨打物业电话业主的诉求,协调和处置不同业主的需要,是科技在物业... 详细信息

智慧社区作为新型社区发展的趋势,近几年得到了快速的发展,智慧物业作为智慧社区的评判标准之一也面临着变革和突破。物业电话是联系物业和业主的有效手段,如何高效解决拨打物业电话业主的诉求,协调和处置不同业主的需要,是科技在物业服务中的重要应用。通过有效快速地识别社区业主紧急电话,将紧急程度最高的语音电话率先接入物业的电话系统,帮助业主得到及时的物业服务反馈是紧急电话识别关键技术研究的主要目的。物业电话是以语音的形式传递信息,而语音中主要包含了音频和文本两种形式的信息,通过音频数据和文本内容有效识别紧急电话是本文研究的主要内容。本文以语音数据为主要研究对象,提出一种基于深度学习的多模式权重网络语音情感识别算法模型,有效识别语音中包含的情感。同时提出一种基于特征的小样本文本分类改进方法,并构建了一个中文物业电话紧急程度分类数据集UCTC(Urgency Classification Text Corpus)。利用上述小样本文本分类方法从电话语音的语义信息中判断出紧急类别的文本,同识别出的语音情感进行融合,从而对接入电话进行紧急程度排序以便物业工作人员按序接听和处理。本文的主要工作概括如下:(1)基于深度学习的多模式权重网络语音情感识别研究。语音中包含的情感信息最能从声学角度体现语音信号的紧急程度,紧急程度不同的语音信号有着不同的情感表达。针对语音情感识别问题,本文提出了一种多模式权重网络模型,该模型先采用循环神经网络和Res Net-50网络基于语音声学特征、语音转化成文本信息后的文本语义特征、语音频谱特征建立三种分类器,然后将以上三种分类器的分类结果作为权重网络模型的输入进行训练以获取最优权重值,基于该权重值最终实现语音情感的识别。本文通过实验比较了三种单一特征语音情感识别模型及集成学习方法与本文所提模型的识别效果,实验结果表明本文提出的模型具有更高的识别准确率。(2)基于特征的小样本文本分类改进方法。针对紧急程度分类文本是小样本的特性,本文基于分布特征模型提出了特征分类网络模型,并且在元学习框架内训练该模型。首先将句子里词汇的分布特征映射为注意力分数,然后对单个词语表征进行加权,构建出包含类别特征的句向量。之后在该句向量的基础上,将已知类别的不同句子特征的差异映射到输入文本向量表征中,以实现类间多样性特征转移,依据类内分布特征和类间多样性特征实现不同紧急程度文本的划分。我们分别在两个基准英文数据集和两个中文数据集(包括UCTC)上进行实验,实验结果表明我们的模型对小样本数据分类效果提升显著,可以有效判别文本的紧急程度。(3)利用以上算法模型开发紧急电话识别后端服务程序。整体后端服务实现的功能包括当前电话紧急状态判断和紧急电话历史信息查询。该服务首先加载现有模型识别语音对应的文本,之后加载本文算法模型对语音的情感状态和语音的文本信息紧急程度进行判断,再利用第三方服务确定语音发声者性别和年龄范围,最终基于以上特征进行融合判断返回紧急程度计算结果。

关键词：多模式语音情感识别权重网络深度学习小样本文本分类注意力机制

来源：评论

学校读者我要写书评

暂无评论

一种基于元学习的医疗文本分类模型

引用

计算技术与自动化 2022年第4期41卷 98-102页

作者：赵楠赵志桦海军军医大学第二附属医院信息中心上海200003 海角科技政策服务部浙江杭州310000

医疗文本专业术语复杂,垂直领域训练样本不足,传统的分类方法不能满足现实需求,提出一种基于元学习的小样本文本分类模型提高医疗文本分类效率。该模型基于迁移学习思想,加入注意力机制赋予句子中的词语不同的权重,利用两个相互竞争的... 详细信息

医疗文本专业术语复杂,垂直领域训练样本不足,传统的分类方法不能满足现实需求,提出一种基于元学习的小样本文本分类模型提高医疗文本分类效率。该模型基于迁移学习思想,加入注意力机制赋予句子中的词语不同的权重,利用两个相互竞争的神经网络分别扮演领域识别者和元知识生成者的角色,通过自适应性网络加强元学习对新数据集的适应性,最后使用岭回归获得数据集的分类。实验对比分析结果验证了该模型对一些公开文本数据集和医疗文本数据具有很好的分类效果。基于元学习的小样本文本分类模型可以成功地应用在医疗文本分类领域。

关键词：元学习小样本文本分类注意力机制医疗数据领域自适应

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：