检索结果-内蒙古大学图书馆

计算机工程与设计 2024年第10期45卷 3074-3080页

作者：廖列法张燕琴江西理工大学信息工程学院江西赣州341000 江西现代职业技术学院院长办公室江西南昌330095

针对中文专利的多层级自动分类任务中不同层级之间标签丰富语义信息及依赖关系和不同粒度大小的特征信息被忽略问题,提出一种RoBERTa-ALMG模型。通过RoBERTa预训练模型获取专利文本的高级语义表征,在标签注意力模块中借助双重多层感知... 详细信息

针对中文专利的多层级自动分类任务中不同层级之间标签丰富语义信息及依赖关系和不同粒度大小的特征信息被忽略问题,提出一种RoBERTa-ALMG模型。通过RoBERTa预训练模型获取专利文本的高级语义表征,在标签注意力模块中借助双重多层感知机和注意力机制动态生成标签文本向量表示,通过前向传播过程实现不同层级之间的知识传递与信息共享,借助多粒度特征抽取模块捕捉层级之间的不同粒度特征和信息。在国家信息中心公布的数据集上的实验结果表明,该模型的表现优于其它模型。

关键词：专利分类层级分类预训练模型标签注意力多粒度特征抽取特征信息信息共享

来源：评论

学校读者我要写书评

暂无评论

基于标签注意力的分层ICD自动编码方法

引用

计算机工程与设计 2023年第7期44卷 2207-2213页

作者：徐春涂二妹马志龙新疆财经大学信息管理学院新疆乌鲁木齐830012

针对目前自动ICD(international classification of diseases)编码任务存在标签空间大、诊断代码分布不均衡与临床文本表征差的问题,提出一种融合Longformer与标签注意力的分层ICD自动编码模型。借助Clinical-Longformer预训练语言模型... 详细信息

针对目前自动ICD(international classification of diseases)编码任务存在标签空间大、诊断代码分布不均衡与临床文本表征差的问题,提出一种融合Longformer与标签注意力的分层ICD自动编码模型。借助Clinical-Longformer预训练语言模型获得融合长文本语境的词向量表征。通过将标签的语义表示与注意力机制相结合,捕捉临床文本中与诊断代码相关的关键特征信息,获取更精准的文本表示。引入分层联合学习机制,建立分层预测层解码输出ICD编码。实验结果表明,该模型的准确率、召回率与F1值均高于现有模型,验证了该方法进行自动ICD编码的有效性,为实施疾病诊断相关分组提供高质量的数据支撑。

关键词：自动疾病诊断编码长文档转换器标签注意力预训练语言模型注意力机制分层联合学习机制疾病诊断相关分组

来源：评论

学校读者我要写书评

暂无评论

基于BERT和标签注意力机制的多标签文本分类

基于BERT和标签注意力机制的多标签文本分类

引用

作者：陈星宏武汉科技大学

学位级别：硕士

近年来,人工智能技术的不断发展,自然语言处理领域也在不断进步。文本分类作为自然语言处理领域的一个分支,被广泛应用。随着人们对文本数据分类要求的精确度越来越高,传统的单标签分类方法其结果的单一性已经不能满足人们的需求,而多... 详细信息

近年来,人工智能技术的不断发展,自然语言处理领域也在不断进步。文本分类作为自然语言处理领域的一个分支,被广泛应用。随着人们对文本数据分类要求的精确度越来越高,传统的单标签分类方法其结果的单一性已经不能满足人们的需求,而多标签文本分类方法中的所有标签因不具有排他性的优势逐渐成为研究的热点。在多标签文本分类领域的众多训练模型中,BERT模型的双向Transformer架构可以捕捉文本上下文的语义关系,该模型对不同场景的文本分类任务做出动态性的调整,以此处理多标签文本分类问题。然而,这样的架构也存在着明显的缺点,它忽视了标签的自身语义信息和标签之间的依赖关系,导致产生标签存在遗漏或语义重复的问题。基于此,本文采用BERT结合标签注意力机制的方法对文本进行多标签分类。主要内容包括:(1)面对上下文语义信息理解问题,本文提出BERT结合多标签语义理解模型的方法,该方法改进了BERT子结构的方式,以达到更好的提取到文本的特征的目的,同时改进下游深度学习模型捕捉标签的相关性。具体地,该方法通过设计BERT与不同的下游分类任务模型结合实现了三种模型,分别对文本的特征表示、提取文本的局部表征和标签相关性提取方面进行改进。通过实验验证了三种模型分别在上下文语义理解、局部特征提取、标签时序性预测的有效性上展现了结合多标签语义理解的优势。(2)面对标签语义信息准确性问题,本文提出一种基于标签注意力机制的文本分类方法。该方法通过BERT学习到输入文本以及标签语义的上下文向量表示,进而利用注意力机制捕捉标签语义和文本信息之间的语义相关性,突出与标签信息相关的文本特征,提升模型的分类能力。实验结果表明,该方法在多标签文本分类任务中展现了比较好的性能。

关键词：多标签文本分类 BERT 标签注意力标签语义

来源：评论

学校读者我要写书评

暂无评论

标签指导的双注意力深度神经网络模型

引用

模式识别与人工智能 2022年第2期35卷 175-184页

作者：彭展望朱小飞郭嘉丰重庆理工大学计算机科学与工程学院重庆400054 中国科学院计算技术研究所网络数据科学与技术重点实验室北京100190

在数据集不包含标签文本信息时,现有的显式交互分类模型无法显式计算文本单词和标签之间的语义关系.针对此问题,文中提出标签指导的双注意力深度神经网络模型.首先,提出基于逆标签频次的自动类别标签描述生成方法,为每个标签生成特定的... 详细信息

在数据集不包含标签文本信息时,现有的显式交互分类模型无法显式计算文本单词和标签之间的语义关系.针对此问题,文中提出标签指导的双注意力深度神经网络模型.首先,提出基于逆标签频次的自动类别标签描述生成方法,为每个标签生成特定的标签描述,用于显式计算文本单词与标签之间的语义关系.在此基础上,使用文本编码器学习具有上下文语境信息的评论文本表示,并提出标签指导的双注意力网络,分别学习基于自注意力的文本表示和基于标签注意力的文本表示.然后,使用自适应门控机制融合这两个文本表示,得到文本最终表示.最后,使用两层前馈神经网络作为分类器,进行情感分类.在3个公开的真实数据集上的实验表明,文中模型分类效果较优,可减少计算代价和训练时长.

关键词：情感分类标签描述生成双注意力自注意力标签注意力

来源：评论

学校读者我要写书评

暂无评论

基于对比学习增强双注意力机制的多标签文本分类方法

引用

计算机应用 2024年

作者：余明峰秦永彬黄瑞章陈艳平林川贵州大学文本计算与认知智能教育工程研究中心公共大数据国家重点实验室(贵州大学) 贵州大学计算机科学与技术学院

针对现有的基于注意力机制的方法难以捕捉文本之间复杂的依赖关系的问题，提出一种基于对比学习增强双注意力机制的多标签文本分类方法。首先，分别学习基于自注意力和基于标签注意力的文本表示，并将二者进行融合，获得更全面的文本表... 详细信息

针对现有的基于注意力机制的方法难以捕捉文本之间复杂的依赖关系的问题，提出一种基于对比学习增强双注意力机制的多标签文本分类方法。首先，分别学习基于自注意力和基于标签注意力的文本表示，并将二者进行融合，获得更全面的文本表示以捕捉文本的结构特征以及文本与标签之间的语义关联。然后，给定一个多标签对比学习目标，利用标签引导的文本相似度监督文本表示的学习以捕捉文本之间在主题、内容和结构层面上复杂的依赖关系。最后，使用前馈神经网络作为分类器，进行文本分类。实验结果表明，与LDGN(label-specific dual graph neural network)方法相比，该方法在EUR-Lex(European Union Law Document)数据集与Reuters-21578数据集上的nDCG@5值分别提升了1.81和0.86个百分点；在AAPD(Arxiv Academic Paper Dataset)数据集与RCV1(Reuters Corpus Volume I)数据集上也取得有竞争力的实验结果。因此，该方法能够有效地捕捉文本之间在主题、内容和结构层面上复杂的依赖关系，从而在多标签文本分类任务上取得较优结果。

关键词：多标签文本分类对比学习双注意力标签注意力自注意力

来源：评论

学校读者我要写书评

暂无评论

加入混合池化和标签信息优化的油田地物提取模型

引用

地球信息科学学报 2024年第3期26卷 753-763页

作者：高辰陈芸芝董琰刘磊郭俊福州大学数字中国研究院(福建) 福州350108 中国石化胜利油田分公司信息化管理中心东营257000 卫星空间信息技术综合应用国家地方联合工程研究中心福州350108

油田高后果区是石油输送管道安全管理的关键区域,准确获取油田高后果区地表信息至关重要。针对油田高后果区内提取任务面临地物形状多样、光谱差异小、类型复杂等挑战,提取结果出现错提、漏提、道路不连续的问题,基于ResUnet模型提出了... 详细信息

油田高后果区是石油输送管道安全管理的关键区域,准确获取油田高后果区地表信息至关重要。针对油田高后果区内提取任务面临地物形状多样、光谱差异小、类型复杂等挑战,提取结果出现错提、漏提、道路不连续的问题,基于ResUnet模型提出了一种适用于油田高后果区地物提取SML_ResUnet模型,该模型在池化阶段引入条形池化单元,在编解码之间加入混合池化模块和标签信息注意力模块。条形池化单元能实现对长条形孤立信息的捕获,混合池化模块兼顾标准池化和条形池化优点,最大程度保留不同位置区域的特征信息,标签注意力模块引入标签信息来优化注意力模块中生成的注意力概率图,从而进一步提高模型提取结果。在油田高后果区高分辨率数据集上的消融实验结果表明,SML_ResUnet网络提取结果最优,其中OA、MIoU、F1-score分别达到了97.24%、84.23%、91.26%,相较于经典模型ResUnet各评价指标均有提升,其中OA、MIoU、F1-score分别提升了0.48%、2.49%、1.55%。在山东省某油田高后果区提取任务中,提取结果的总体精度平均为97.66%,适用于具有多种复杂地物类型的大范围油田高后果区内提取任务。

关键词：深度学习地物提取油田高后果区标签注意力注意力机制条形池化混合池化 SML_ResUnet

来源：评论

学校读者我要写书评

暂无评论

面向PICO框架的临床证据属性抽取和关系抽取方法

面向PICO框架的临床证据属性抽取和关系抽取方法

引用

作者：耿苹东南大学

学位级别：硕士

随着临床医学领域的文献日益增多,循证医学相关人员需要阅读大量医学文献以获取最新研究成果。尽管领域专家总结了临床证据供相关人员参考,但人工总结临床证据是费时费力的,因此自动抽取结构化临床证据成为加快循证医学实践的重要课题... 详细信息

随着临床医学领域的文献日益增多,循证医学相关人员需要阅读大量医学文献以获取最新研究成果。尽管领域专家总结了临床证据供相关人员参考,但人工总结临床证据是费时费力的,因此自动抽取结构化临床证据成为加快循证医学实践的重要课题。现有关于结构化临床证据的研究通常为句子级别文献摘要或少数重要属性的识别,而面向结构化的临床证据抽取的相关研究极少。但句子级别摘要仍属于非结构化信息,不能够直接构建结构化临床证据,识别到少数重要属性也不足以全面描述临床证据。基于以上背景,本文研究了面向PICO框架的临床证据属性和关系抽取方法,尽可能抽取丰富的结构化信息。主要研究内容如下:(1)提出了面向PICO框架的层次化属性和关系抽取方法(Hierarchical Attribute and Relationship Extraction for PICO,HARE),该方法包含两个步骤:句子划分和短语分类,句子划分采用Meta Map工具,短语分类使用面向PICO框架的层次化多类别分类方法。HARE中提出了用于短语分类的两个新样本特征:基于短语的最短依存路径特征,该特征获取长句中与待分类短语位置不相邻的重要信息;标签对样本的注意力特征,该特征根据样本统计信息得到描述标签的关键词,并强调描述标签的关键信息。HARE最终输出临床证据的候选属性和关系集合。通过特征消融实验和对比实验,本文证明了HARE方法中特征提取和分类方法的有效性。(2)提出了基于规则的临床证据生成方法(Rule-based Clinical Evidence Generation,RCEG),该方法包括去除候选集合的冗余和基于规则生成三元组两个步骤。首先根据文本相似度去除候选集合中的重复信息,然后将描述属性和关系的文本转化为结构化临床证据的三元组。在三元组生成过程中使用基于规则的方法,包括:基于正则匹配生成患者年龄、受试样本排除标准和用药剂量,基于语义规则生成疾病或症状等。通过自定义的临床证据评估策略和人工评价,展示了RCEG方法生成的结构化临床证据的质量。(3)设计并实现了临床证据生成和可视化系统(Aceso Evidence,Aceso E)。该系统与现有研究相比,较为全面地识别了基于PICO框架的结构化临床证据中的属性与关系。Aceso E集成了HARE方法和RCEG方法,主要功能包括上传待分析的文献摘要、生成结构化临床证据、可视化临床证据和结果下载。综上所述,本文研究了面向PICO框架的结构化临床证据的属性和关系抽取方法:首先基于深度学习识别属性和关系的候选集合,然后基于规则生成结构化临床证据,最后设计并实现了临床证据生成和可视化系统。

关键词： PICO框架临床证据最短依存路径标签注意力

来源：评论

学校读者我要写书评

暂无评论

基于数据开放平台数据的多标签体系建设与研究

基于数据开放平台数据的多标签体系建设与研究

引用

作者：鲁彦禹武汉邮电科学研究院

学位级别：硕士

数据开放平台是一个收纳了城市管理规划中海量公共数据的综合数据服务平台。近年来,随着平台的建成与公共数据的开放,数字化经济得以快速发展,数据开放平台为大众创业、万众创新注入了新活力。然而,当前各市的数据开放平台在数据分类上... 详细信息

数据开放平台是一个收纳了城市管理规划中海量公共数据的综合数据服务平台。近年来,随着平台的建成与公共数据的开放,数字化经济得以快速发展,数据开放平台为大众创业、万众创新注入了新活力。然而,当前各市的数据开放平台在数据分类上存在着数据类别划分不明确,数据多元素无法得以体现的问题;在数据检索上存在着使用关键词检索内容单一、无法通过语义信息检索相关内容的问题,这些问题对于后续数据维护治理以及凝练数据价值而言不是那么的友好。针对上述问题,本文从数据类别划分角度出发,设计多标签文本分类体系合理划分数据,利用自然语言处理技术实现对海量数据的自动分类以及数据检索推荐上的优化改进,解决当前数据开放平台中分类难、检索单一的问题。本文的主要研究与工作如下: (1)基于当前数据开放平台的分类体系,设立多标签分类体系,从领域标签与公共标签(人、地、事、物、组织)两部分出发,允许数据资源同时拥有多个类别标签,体现数据的多元素化特征。为了实现对海量资源的自动分类,本文提出了一种基于标签注意力的ERNIE-CNN的多标签文本分类算法,该算法将标签包含的语义信息与文本语义特征进行融合,从而提升模型的分类能力。实验表明,该算法较Text CNN与Bert在准确度上分别提升了6.19%和4.18%,能够更加出色的完成多标签分类任务。 (2)为了进一步提升用户检索的使用体验,本文提出了相关词语推荐算法以及基于Chinese Bert的中文词语纠错方法。相关词语推荐算法是根据用户输入文本的分词结果结合全量数据的分词词组进行相似度匹配,并将最相关的词组以及对应的数据资源在检索时反馈给用户,用户无需输入完整内容就可以通过选择结果快速完成检索。基于Chinese Bert中文词语纠错方法是利用CSC数据集对Chinese Bert进行微调,通过文本生成完成对错误文本的检测与修正,从而使得检索效果更加良好。 (3)在数据检索上,本文提出了基于语义的数据资源表推荐算法,该算法将文本的语义相似度与数据标签的标签相似度进行结合,综合推荐出相关度最高且多样化的数据资源。在语义相似度研究中,本文提出了基于ERNIE预训练模型以及TFIDF-Embedding两种不同的方法策略生成文本语义向量,并在不同的NLP数据集上证明了ERNIE预训练模型在语义表达上的卓越能力。

关键词：标签注意力多标签文本分类 ERNIE 语义相似度 ChineseBert

来源：评论

学校读者我要写书评

暂无评论

融合标签信息的多标签文本分类研究

融合标签信息的多标签文本分类研究

引用

作者：田小瑜贵州大学

学位级别：硕士

多标签文本是指一个文本实例同时包含一个以上的主题标签。多标签文本分类任务主要是利用计算机技术从非结构化的文本数据中挖掘出与标签相关的语义信息进而为其分配对应的标签。作为文本挖掘领域中的底层任务,多标签文本分类任务可以... 详细信息

多标签文本是指一个文本实例同时包含一个以上的主题标签。多标签文本分类任务主要是利用计算机技术从非结构化的文本数据中挖掘出与标签相关的语义信息进而为其分配对应的标签。作为文本挖掘领域中的底层任务,多标签文本分类任务可以为许多下游任务提供支持,如情感分析、信息检索等。但是,多标签文本数据由于同时关联多个标签进而语义信息复杂且标签空间巨大,存在特征提取困难、类别不均衡和样本稀疏等会导致特征提取效果不理想的问题;此外,在多标签文本数据标注过程中,标注者可能会忽略他们不知道或不感兴趣的标签,或者遵循一些标注算法来自动标注进而造成标签缺失的问题。因此,本文充分挖掘和利用标签语义信息、标签共现关系以及其他相关性信息,在此基础上分别提出融合标签语义信息、标签共现关系以及标签相关性约束的多标签文本分类方法。主要研究工作与成果有:(1)针对多标签数据中语义复杂、特征提取困难的问题,本文利用标签语义信息来辅助文本的特征提取工作,提出了一种由标签注意网络进行多层级联合而成的深度模块化标签注意网络。在标签注意网络中构建了双向标签注意单元和自我注意单元,用以建立文本和标签的语义连接,从而得到标签和文本的双向依赖表示。模型在公开数据集上与现有算法进行比较进而验证了模型性能。(2)针对类别不均衡、样本稀疏对特征学习效果的限制问题,本文在利用标签语义信息获取到文本中与标签关联的语义信息的基础上,进一步融合标签间的共现关系。在此过程中,主要基于图注意力机制自适应地学习标签间的共现权重,进而实现标签间的特征交互并获取更深层次的语义特征。实验结果表明,该方法进一步提升了分类性能。(3)针对标签缺失的问题,基于矩阵分解的方式分解得到实例和标签的特征表示矩阵,在利用标签相关性和实例相关性建立正则约束的同时,首次建立实例和标签特征表示间的相关性并用以建立正则约束,进而恢复缺失标签。我们在多个真实数据集上对所提算法进行性能验证。实验结果表明,本文提出的算法比现有算法获得相对较高的预测精度。

关键词：标签注意力标签语义信息标签共现关系矩阵分解

来源：评论

学校读者我要写书评

暂无评论

基于命名实体识别的动态上下文方法研究

基于命名实体识别的动态上下文方法研究

引用

作者：徐从磊东北师范大学

学位级别：硕士

上下文表示是理解自然语言的关键,相同的单词、短语和局部单词序列在不同的上下文表示下会具有截然不同的含义。在自然语言处理任务中,大多数研究工作拼接Bi LSTM（Bidirectional Long Short-Term Memory Network,Bi LSTM）的前向输出... 详细信息

上下文表示是理解自然语言的关键,相同的单词、短语和局部单词序列在不同的上下文表示下会具有截然不同的含义。在自然语言处理任务中,大多数研究工作拼接Bi LSTM（Bidirectional Long Short-Term Memory Network,Bi LSTM）的前向输出与后向输出作为上下文表示。由于句子作为单词序列输入的特点,全局信息仅包含于Bi LSTM建模的第一个位置与最后一个位置。对于情感分析、机器翻译等仅使用最后一个位置信息的任务,命名实体任务需要使用每个位置对应的上下文信息去预测其对应的类别。如果使用缺乏整体句意的上下文表示进行分类,会导致预测时出现异或限制,而此种限制并不能通增加模型复杂度的方式解决。现阶段关于命名实体任务的研究工作大多采用融合条件随机场（Conditional Radom Field,CRF）与神经网络的方式来学习标签间的转移矩阵。但这种方式存在以下问题:（1）受限于马尔可夫假设,CRF并不能很好地利用神经网络中的长距离依赖信息;（2）由于CRF的训练时间复杂度较高,不适用于大数据场景,并且推理阶段使用维特比算法会限制其并行性。学习数据集中标签的向量表示,可以通过衡量标签向量的信息分布与提取到的信息分布之间距离显著提高模型分类准确率。此外由于每个位置的上下文信息与其对应的标签信息有着强相关性,可以通过每个位置标签信息优化上下文信息。据此,本文采用联合学习标签表示与上下文表示的思想,提出两种动态生成每个位置上下文表示的方法,以及代替CRF的标签向量分类方法:1.语言成分的动态上下文机制,此方法包括两部分:（1）概率门函数。基于概率成分角度,即:每个位置的标签信息是由标签信息空间中的属性按比例融合。为每个位置生成其对应的标签信息;（2）语言成分函数。以语言学角度出发,生成每个位置语义表示的前向全局信息、后向全局信息以及本地信息的成分占比。2.基于注意力的动态上下文机制,此方法有着同样的宏观结构:（1）余弦距离函数。以向量间的余弦距离为切入点,将标签信息空间中的向量与每个位置的上下文信息之间的余弦距离作为融合权重,得到每个位置的标签信息;（2）自注意力函数。不同于语言成分函数为每个位置生成全局语义的成分比例,自注意力方法基于整个上下文信息空间与标签信息空间,直接动态为每个位置生成全局信息表示。3.标签向量分类机制:融合每个位置对应的标签信息、上下文的位置信息生成每个位置对应的标签分数进行分类。实验结果表明,本文提出联合学习标签表示与上下表示的方法,不仅可以学习到有效的标签表示,并且可以很好地解决Bi LSTM在命名实体任务建模上的异或问题,同时基于此的标签表示分类层在分类效率与F1值上都优于CRF方法。

关键词：上下文表示标签注意力命名实体分析条件随机场 BiLSTM

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：