检索结果-内蒙古大学图书馆

作者：孙坤北京交通大学

学位级别：硕士

随着我国经济的发展,虽然成为了全球制造业的重要支柱,但信息不透明和不完全共享仍阻碍了有效供应链的形成,导致资源浪费。在这背景下,产业数据挖掘变得关键。尽管预训练语言模型近年来发展迅速,但在产业数据挖掘任务上仍有不足。本文... 详细信息

随着我国经济的发展,虽然成为了全球制造业的重要支柱,但信息不透明和不完全共享仍阻碍了有效供应链的形成,导致资源浪费。在这背景下,产业数据挖掘变得关键。尽管预训练语言模型近年来发展迅速,但在产业数据挖掘任务上仍有不足。本文针对产业领域的特点,构建了专门的预训练模型,并针对多标签文本分类任务进行了优化研究: 针对产业信息分布于金融、舆情和科技三个子领域的问题,本文提出一种基于多源数据的产业预训练模型,通过联合训练多个子领域的数据解决该问题。该模型整合来自不同数据源的训练数据,实现子领域信息互补。同时这些子领域对应的数据源存在显著差异,因此提出领域感知模块以缓解由于语言分布差异导致的灾难性遗忘问题。此外,提出领域概念掩码机制以加强模型对领域概念的理解,并且构建字词混合粒度词表以提升模型对领域词汇的语义表达能力。通过在多个产业数据挖掘任务中与同期中文预训练模型进行比较,在各个任务上本文模型都有较大提升。实验验证了模型的有效性。针对很多产业数据挖掘任务需要跨文本知识的问题,提出了基于异质图的产业预训练模型,通过图将无结构的文本信息结构化以提供跨文本的知识。首先,将大量产业文本通过信息抽取技术构建为产业异质图,为预训练提供跨数据源和跨文本段知识。其次在预训练阶段引入文本对应子图,通过自监督任务与文本联合训练,实现语言模型与图神经网络的交互,将图中的知识融入语言模型。最后提出一种子图采样方法,通过企业整合不同子领域的信息,将企业多维度信息融入预训练中。本文模型在多个产业数据挖掘任务上与同期中文预训练模型进行对比,在各个任务上提升显著。实验验证了本文模型的有效性。针对现有多标签文本分类方法在标签与文档关系的建模方式和标签语义信息利用上的不足,提出了一种基于共享语义空间的多标签文本分类方法,通过注意力机制和共享编码器解决该问题。首先,提出通过融合注意力机制来同时建模标签与文档的关系及标签间的关系。其次,提出了解耦的共享语义空间嵌入方法,改进了利用标签语义信息的方法,使用共享参数的编码器提取标签和文档的语义表示,减少其在建模相关性阶段的偏差。此外,提出了一种基于先验知识的层次提示方法,利用预训练模型中的先验知识增强标签层次结构信息。本文在公开数据集和产业数据挖掘数据集上进行实验,本文模型性能均强于同期先进模型。实验验证了该方法的有效性。

关键词：产业数据挖掘领域预训练异质图多标签文本分类多源数据

来源：评论

学校读者我要写书评

暂无评论

基于领域预训练的结构化专利表示及应用

基于领域预训练的结构化专利表示及应用

引用

作者：秦博文北京交通大学

学位级别：硕士

随着改革开放和科技进步的推动,知识产权保护已成为国家发展战略的不可或缺的一部分。在知识产权领域,专利作为一种重要的形式,其价值和作用日益受到重视。专利权利要求书是专利的核心内容,在专利检索、分类、分析等应用中扮演着重要的... 详细信息

随着改革开放和科技进步的推动,知识产权保护已成为国家发展战略的不可或缺的一部分。在知识产权领域,专利作为一种重要的形式,其价值和作用日益受到重视。专利权利要求书是专利的核心内容,在专利检索、分类、分析等应用中扮演着重要的角色,包含了专利发明的技术方案、设计或其他特点的具体描述,具有领域性和结构性的特点。现有的对于专利进行分析研究或设计应用的工作中,对于专利的结构性特点鲜有关注。大多数工作仅从每篇专利的实体词粒度或专利-公司、专利-作者粒度进行分析,并没有关注到每篇专利所特有的结构。而专利的这两个特点直接与专利的保护范围、新颖性等直接相关,不可忽视。本文为了解决上述问题,结合了专利权利要求书具有领域性和结构性的特点以及现有的信息抽取、预训练和图表示学习的相关技术,设计并实现了一种专利结构化表示的三步框架,包括: (1)专利结构图构建,该阶段主要目的是针对产品类专利权利要求书实现文档结构化任务。本文根据专利权利要求书的撰写要求确定了必要技术特征的抽取范围以及这些特征间关系的种类。采用了规则和统计学方法相结合的方式构建技术术语词表,进行无监督的标注,并利用BERT-CRF模型实现了必要技术特征的抽取。根据确定的关系种类,进行了标注并对比了基于实体对多标签分类和基于序列标注的关系抽取方法,最终实现了必要技术特征之间的关系抽取,并生成了每篇专利对应的特征结构图。 (2)专利领域预训练,该阶段主要目的是通过在专利语料上的预训练,让语言模型学习到领域相关知识。针对专利文献的特点,本文提出了两种专利领域预训练任务:专利术语词整词掩码任务PTWWM和专利分类号预测任务IPCP。此外,引入了自监督对比学习来进行联合训练,使语言模型在领域预训练过程中学习专利术语词、专利分类系统等知识,并解决预训练语言模型本身的各向异性问题。 (3)专利结构图向量化表示。该阶段主要目的是利用上两阶段中的输出,获得同时考虑到专利领域性和结构性的向量表示,因此本文提出了基于图自监督学习的专利结构化表示框架。通过遮盖节点的方式,进行重建节点特征的图自监督学习,其中节点表示使用专利领域预训练模型编码后表示作为初始化。引入聚合节点获取专利结构图中各节点信息,同时进行语言模型表示蒸馏,最终获得专利结构化表示。

关键词：领域预训练实体抽取关系抽取图自监督学习

来源：评论

学校读者我要写书评

暂无评论

融合预训练模型文本特征的短文本分类方法

引用

数据分析与知识发现 2021年第9期5卷 21-30页

作者：陈杰马静李晓峰南京航空航天大学经济与管理学院南京211106

【目的】综合运用不同预训练模型的词向量进行文本语义增强,解决基于Word2Vec、BERT等模型所表示的词向量存在先验知识缺失的问题,提升在新闻数据集上的分类效果。【方法】以今日头条新闻公开数据集和THUCNews新闻数据集为实验对象,使用... 详细信息

【目的】综合运用不同预训练模型的词向量进行文本语义增强,解决基于Word2Vec、BERT等模型所表示的词向量存在先验知识缺失的问题,提升在新闻数据集上的分类效果。【方法】以今日头条新闻公开数据集和THUCNews新闻数据集为实验对象,使用BERT、ERNIE模型通过领域预训练,分别提取上下文语义信息和实体、短语的先验知识信息;结合TextCNN模型生成高阶文本特征向量并进行特征融合,实现语义增强,进而提升短文本分类效果。【结果】相较于传统的Word2Vec词向量表示,使用预训练词向量表示的分类算法模型准确率分别提升了6.37个百分点和3.50个百分点;相较于BERT和ERNIE词向量表示,融合BERTERNIE词向量表示的分类算法模型准确率分别提升1.98个百分点和1.51个百分点。【局限】领域预训练采用的新闻领域语料有待进一步丰富。【结论】所提方法能够对海量的短文本数据实现快速而准确的分类,对后续文本挖掘工作具有重要意义。

关键词： BERT ERNIE 短文本分类文本特征融合领域预训练

来源：评论

学校读者我要写书评

暂无评论

番茄病虫害领域实体识别和关系抽取研究

番茄病虫害领域实体识别和关系抽取研究

引用

作者：鲍彤江苏大学

学位级别：硕士

农业病虫害一直是影响我国农业丰收和粮食安全的重要因素。随着我国农业信息化的发展,各类农技服务网站在向农民提供服务的过程中产生了大量病虫害介绍和防治相关的文本数据,其中包含了广大农民遇到的各类生产问题和经验办法,对这些数... 详细信息

农业病虫害一直是影响我国农业丰收和粮食安全的重要因素。随着我国农业信息化的发展,各类农技服务网站在向农民提供服务的过程中产生了大量病虫害介绍和防治相关的文本数据,其中包含了广大农民遇到的各类生产问题和经验办法,对这些数据进行挖掘和利用具有很高的应用价值。本文以番茄病虫害领域为例开展知识抽取研究,主要包含语料库构建、实体识别和关系抽取等内容,具体工作如下:(1)番茄病虫害领域的语料库构建。首先以期刊文献、电子书籍和网络文本为数据源,获取了番茄病虫害领域的文本语料,并梳理了番茄病虫害领域常见的实体类别和关系类别,给出了实体识别任务和关系抽取两个任务的分类体系和定义。其次,通过Jieba工具对数据进行了分词、数据标注等与处理工作,制定了了数据标注规则和检验方法,在团队成员协助下完成了完语料库的构建,为后续研究奠定了基础。(2)基于领域预训练BERT的命名实体识别方法。本文采用预训练BERT模型在获取的番茄病虫害文本语料库上进行领域深度预训练,结合当下主流的Bi LSTM-CRF模型进行实体识别。除此之外,根据错误的测试用例设计了番茄病虫害领域的实体边界约束的正则表达式。实验证明,经过领域预训练形成的字向量可以有效提升实体识别的F1值,在实体识别的基础上利用规则约束边界可以进一步提升模型识别效果。(3)基于远程监督和注意力机制的关系抽取方法。首先基于Tbd BERT模型进行文本序列编码,将实体信息和编码一起进行平均最大池化,利用注意力机制增强关键词和语义信息的权重。通过实验分析,CNN网络在远程监督的关系抽取的效果最好,领域知识预训练、实体位置信息、注意力机制和平均最大池化操作均对实体关系抽取效果有不同程度的提升。(4)构建了基于Neo4j的番茄病虫害知识抽取系统,完成了实体识别和关系抽取、实体词入库和实体关系检索和可视化等功能。

关键词：番茄病虫害命名实体识别实体关系抽取 BERT 领域预训练

来源：评论

学校读者我要写书评

暂无评论

基于LEBERT对投诉文本的命名实体识别研究

基于LEBERT对投诉文本的命名实体识别研究

引用

作者：贾雪艳上海财经大学

学位级别：硕士

在互联网深入普及的时代,智能化是未来的重要趋势之一。企业处理投诉信息的智能化体现之一就是智能客服,能够通过与客户交互式互动,自主学习,辅助企业完成信息收集与决策。本文将视野聚焦在金融科技行业的投诉平台,用户投诉的语料特点... 详细信息

在互联网深入普及的时代,智能化是未来的重要趋势之一。企业处理投诉信息的智能化体现之一就是智能客服,能够通过与客户交互式互动,自主学习,辅助企业完成信息收集与决策。本文将视野聚焦在金融科技行业的投诉平台,用户投诉的语料特点大多数是具有欺诈性质的,即申报对方具有主观上的欺骗意愿,或者执行了使他人做出错误认知的行为,如撒谎、虚构、伪造等行为。针对如何让智能客服更好实现人机交互,正确处理用户投诉信息,保护用户权益的问题引出了中文命名实体识别技术。中文命名实体识别是指识别中文文本中自定义实体的边界和类别,是自然语言处理、推荐系统、知识图谱等领域发展的基础,在用户投诉信息提取时起到了关键作用。至今为止,中文命名实体识别技术主要经历了四个阶段,基于规则、基于机器学习、基于深度学习、再到近期的基于词汇增强。本文基于词汇增强方法中最新颖的模型之一LEBERT对投诉文本进行研究。虽然LEBERT能够完成中文命名实体识别的工作,但存在三个问题,其一是忽略了实体类型与业务供给高度相关;其二是引用的外部词典属于通用领域,不仅降低了搜索词汇的效率,还可能出现诸多专业词汇匹配不上的现象;其三是中文命名实体识别可以拆分为实体边界和类别两个环节的任务,LEBERT的词汇增强想法能够提升实体边界识别效果,但忽略类别识别这一环节。为了解决金融科技行业投诉文本的命名实体识别问题,首先就投诉语料特点提出了领域化训练,利用大量未标注投诉语料进行中文分词操作生成领域词典,并对chinese＿wwm＿ext模型进行全词掩码训练,提前学习相关语义信息,得到投诉文本BERT模型;接着提出词性增强的概念,设计了以CRF、CNN+Bi LSTM+CRF、Electra+Linear三种方式融合词性的LEBERT模型,有利于学习挖掘词性与实体之间的内在联系,从而提升实体边界及实体类别划分的准确性;然后在此基础上相应介绍了三种词性增强的领域化LEBERT模型,即将领域预训练得到的BERT作用于LEBERT,再将其改造为词性增强的模型框架,针对性地处理投诉文本的命名实体识别问题。为了检验所提出模型的有效性,我们进行了大量的数值实验。首先在公开数据集上进行了词性增强的LEBERT实验,三种词性增强方式下的F1相对于初始值都取得了一定提升,以Electra+Linear融合词性效果最为显著,最低的F1提升值达到0.12%,最高的提升值达到0.60%,分析原因在于引入词性的同时间接性给出了词语边界的划分,并且能够通过多层学习到词性类别和实体类别的关系。然后在投诉文本数据集上进行了两方面的实验结果,一是词性增强的LEBERT实验,结果显示三种融合词性的LEBERT模型F1均要高于baseline、BERT+Word、ERNIE等模型,进一步表明词性增强能够提升实体识别效果,以Electra+Linear实现词性增强效果最优,较baseline提高了4.44%,较LEBERT提高了2.35%;二是词性增强的领域化LEBERT对比实验,发现对词性增强的LEBERT模型作领域化处理后识别结果更好,均能取得0.80%左右的提升,验证了对模型注入大量投诉欺诈语料进行领域化训练,提供先验信息能够帮助模型深层次学习到语义的表示特征和词汇的边界特征。最后本文提出的以Electra+Linear形式来进行词性增强的领域化LEBERT模型框架能够在金融科技领域投诉文本上取得很好的效果,更好实现人机交互功能、提升用户满意度,增强企业价值,并且建立庞大的关系网络有助于反欺诈行动,加速金融科技行业实现从被动防御模式到主动识别模式的转变。

关键词：中文命名实体识别 LEBERT 领域预训练词性增强

来源：评论

学校读者我要写书评

暂无评论

基于中文预训练的安全事件实体识别研究

引用

信息安全研究 2021年第7期7卷 652-660页

作者：朱磊董林靖黑新宏王一川彭伟刘雁孝盘隆西安理工大学西安710048 陕西省网络计算与安全技术重点实验室(西安理工大学) 西安710048 深圳市腾讯计算机系统有限公司广东深圳518054

为提高公共安全事件中中文命名实体识别的效率,对《中文突发事件语料库》进行研究,通过对预训练任务的优化和训练集的迁移学习,提出基于领域预训练的公共安全事件实体识别方法.首先,对预训练模型RoBERTa进行优化,更新安全领域词典,实现... 详细信息

为提高公共安全事件中中文命名实体识别的效率,对《中文突发事件语料库》进行研究,通过对预训练任务的优化和训练集的迁移学习,提出基于领域预训练的公共安全事件实体识别方法.首先,对预训练模型RoBERTa进行优化,更新安全领域词典,实现数据增强,并将中文单字符的掩码机制替换为全词掩码机制,获取公共安全事件中领域实体特征和语义信息.接着,使用10万条在线新闻语料进行领域预训练,生成了公共安全领域预训练模型RoBERTa+,增强下游任务命名实体识别的能力.最后,采用双向长短时记忆网络BiLSTM获取语料文本的上下文信息特征,经过条件随机场CRF进行序列解码标注,完成公共安全领域的中文命名实体识别任务.实验结果表明,改进的模型在中文突发事件语料库中准确率平均可达到87%以上,召回率和F1值都达到了80%以上,从而证明了领域预训练可以有效提升公共安全事件中实体信息的识别能力.

关键词：公共安全事件中文实体识别领域预训练双向长短时记忆网络条件随机场 RoBERTa预训练语言模型

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：