检索结果-内蒙古大学图书馆

作者：周祺安徽工程大学

学位级别：硕士

伴随大数据时代的发展,互联网中出现越来越多的实体、不同的实体指称和更加细致的实体类型。而命名实体识别任务只能为实体指称分配粗粒度的实体类型标签,因此如何根据不同的实体指称分配细粒度的实体类型标签成为研究的热点问题。在给... 详细信息

伴随大数据时代的发展,互联网中出现越来越多的实体、不同的实体指称和更加细致的实体类型。而命名实体识别任务只能为实体指称分配粗粒度的实体类型标签,因此如何根据不同的实体指称分配细粒度的实体类型标签成为研究的热点问题。在给定实体指称及其上下文的条件下,细粒度实体分类任务为实体指称分配一个或多个类型标签,而且类型标签之间通常具有一定的层次结构。细粒度的类型标签为实体指称提供了更多的语义信息,能够为关系提取、事件提取等任务奠定良好的基础,更有助于提高下游问答系统、知识库完善等自然语言处理任务的准确率、工作效率和可信度。目前大多数细粒度实体分类采用远程监督的方式,从蕴含丰富信息的知识库中提取有关实体指称的类型标签信息,并将实体在知识库中的所有类型标签返回给实体指称,此过程中可能会引入噪声标签。本文以减轻噪声标签对分类结果的消极影响,提高细粒度实体分类方法的准确率为目的,对细粒度实体分类任务中噪声标签问题进行研究,主要研究内容如下:（1）从模型增强的角度出发,利用记忆网络模型联合学习实体指称上下文及类型标签,建立实体指称上下文与类型标签之间的关联性,以充分提取实体指称上下文与类型标签之间的重要信息,为分配符合上下文语义的类型标签提供指示性信息。其次,为了缓解噪声标签的消极影响,使用变形的铰链损失函数和变形的层次损失函数,通过调整不同的参数权重,能够有效减轻噪声标签对细粒度分类模型整体性能的负面影响。与此同时,引入类别平衡损失函数,动态调整不同标签损失值的权重,进一步优化损失函数。最后,利用L2正则化函数有效避免细粒度实体分类模型对噪声标签的过拟合,从而提升细粒度实体分类模型的整体性能。（2）从数据增强的角度出发,根据实体指称对应的类型标签数量,将数据集划分为干净集和噪声集,并且对于两个训练数据集构建不同的损失函数训练细粒度实体分类模型。由于实体指称与类型标签之间存在关系特征,类型标签与类型标签之间也具有相似性和层次性特征,因此可以利用特征生成器提取有效的实体指称-类型标签特征和类型标签-类型标签特征,以辅助实体指称上下文与类型标签之间的关联特征,构建完整特征为实体指称分配更符合语义的类型标签。最后,在处理实体指称上下文的嵌入层中引入对抗训练,将其作为一种正则化手段,不仅能有效避免细粒度实体分类模型过拟合噪声标签,而且有助于提高细粒度实体分类模型应对噪声标签的鲁棒性。

关键词：细粒度实体分类噪声标签记忆网络划分数据集对抗训练

来源：评论

学校读者我要写书评

暂无评论

基于深度神经网络的细粒度实体分类方法研究

基于深度神经网络的细粒度实体分类方法研究

引用

作者：李书宁太原科技大学

学位级别：硕士

近年来,细粒度实体分类已经成为命名实体识别研究领域的重要子任务。但是由于数据集质量参差不齐,没有统一的细粒度实体分类类型标准,现有算法存在着不能充分利用细粒度实体类型的层级结构和实体类型自身的语义信息,以及对长实体类型识... 详细信息

近年来,细粒度实体分类已经成为命名实体识别研究领域的重要子任务。但是由于数据集质量参差不齐,没有统一的细粒度实体分类类型标准,现有算法存在着不能充分利用细粒度实体类型的层级结构和实体类型自身的语义信息,以及对长实体类型识别错误等问题。因此,本文通过对深度神经网络进行创新来提升细粒度实体分类的性能。本文主要研究工作及成果概括如下:(1)针对现有细粒度实体分类方法都着眼于如何更好编码提及和上下文语义信息,而忽略细粒度实体类型所具有层级结构信息的问题,本文提出了一种全新基于层次感知的细粒度实体分类(HAFGET)方法。首先利用基于图卷积神经网络的层次结构编码器对不同层级标签之间的依赖关系进行建模;然后利用多标签注意力模型和实体特征传播模型对实体上下文特征进行层次结构感知和分类,前者通过层次编码器学习层次感知标签嵌入,并与实体特征通过注意力融合后进行标签分类,后者则直接将实体特征输入到层次结构编码器更新特征表示后进行分类。在FIGER、Onto Notes和KNET三个公开数据集上的实验结果表明,该模型的准确率值和宏平均F1值均提升2%以上,验证了该模型能够有效提升分类效果。(2)针对现有的细粒度实体分类方法对长实体分类效果比较差,同时实体所在上下文的语义信息对实体分类具有重要作用,因此,为了更好地捕获长实体语义信息,本文提出了一种基于注意力卷积神经网络提取长实体的语义特征。该方法充分利用了卷积神经网络和注意力机制各自优点,不仅能捕获实体的高层次语义信息,而且还能提取句子的时序信息。通过适当的卷积核去提取文本的N-gram特征,然后利用注意力机制为上下文分配不同的权重,最后生成最终实体表示。在Onto Notes和FIGER数据集上对该模型进行性能评估,实验结果表明,在Macro F1值上提升了3.75%和1.23%,验证了模型的有效性。(3)最后,从现实应用出发,实现细粒度实体分类原型系统的开发,通过采用B/S架构模式进行系统设计,对所提出的细粒度实体分类模型进行封装,并使用Lay UI+Spring Boot+Django+REST Framework技术进行系统开发,从而将细粒度实体分类任务结果可视化。

关键词：细粒度实体分类图卷积神经网络注意力机制层次结构编码器卷积神经网络

来源：评论

学校读者我要写书评

暂无评论

基于稀疏标注的领域本体构建和细粒度实体分类方法研究

基于稀疏标注的领域本体构建和细粒度实体分类方法研究

引用

作者：武红颖燕山大学

学位级别：硕士

大数据时代的到来,在信息获取方面为人们提供了更多便利,与此同时也带来了信息爆炸的问题。如何高效地挖掘有价值的信息,已经成为当前全世界研究的热点。因此,可以关联各种信息的知识图谱应运而生。由于领域本体构建和实体分类是知识图... 详细信息

大数据时代的到来,在信息获取方面为人们提供了更多便利,与此同时也带来了信息爆炸的问题。如何高效地挖掘有价值的信息,已经成为当前全世界研究的热点。因此,可以关联各种信息的知识图谱应运而生。由于领域本体构建和实体分类是知识图谱构建的两个重要子任务,而领域本体构建的基础是领域词抽取,本文主要针对领域词抽取和实体分类两个任务进行研究。首先,针对领域词抽取任务中标注语料稀缺的问题,本文提出了一种基于语言学规则和BERT嵌入的领域词抽取算法。该算法运用语言学规则从领域文本中分离出严格非领域词,并将其添加到原始的稀疏标注语料库中,对语料库进行扩充,然后通过基于BERT的词分类模型,实现领域词抽取,从而提升领域词抽取的准确度。其次,针对细粒度实体分类任务中标注语料稀缺的问题,本文首次将任务无关的元学习方法应用于细粒度实体分类任务中,构建了一个基于预训练BERT模型的任务无关细粒度实体分类算法,该算法首先采用BERT预训练模型对实例中的每个单词映射到低维的向量空间,并运用模型无关的元学习方法,构建了一个基于多任务的细粒度实体分类模型;接着在预测结果基础上添加正则项,减弱任务间的不平等性,进而提高模型对新任务的泛化能力。最后,分别在自定义数据集和公开数据集上对所提出的基于语言学规则的领域词抽取方法和基于任务无关的实体分类模型进行了实验对比分析,实验结果表明,本文提出的算法具有更好的性能。

关键词：领域本体构建领域词抽取语言学规则细粒度实体分类任务无关元学习

来源：评论

学校读者我要写书评

暂无评论

面向中文短文本的细粒度实体分类和实体链接研究

面向中文短文本的细粒度实体分类和实体链接研究

引用

作者：刘中格华中科技大学

学位级别：硕士

随着大数据时代的来临,互联网中的文本数据在规模和复杂度上呈现出爆炸式的增长,如何有效地对互联网中海量的文本信息加以利用是自然语言处理领域重要的研究内容。知识图谱强大的语义处理和互联组织能力为海量复杂文本信息的充分利用提... 详细信息

随着大数据时代的来临,互联网中的文本数据在规模和复杂度上呈现出爆炸式的增长,如何有效地对互联网中海量的文本信息加以利用是自然语言处理领域重要的研究内容。知识图谱强大的语义处理和互联组织能力为海量复杂文本信息的充分利用提供了可能。细粒度实体分类是构建知识图谱的基础性工作,为实体链接、知识问答等任务提供了重要的信息支撑。实体链接旨在将文本中已识别的实体无歧义地指向知识库中的目标实体。传统的细粒度实体分类和实体链接方法依赖于长文本中完整的上下文信息,而快速增长的互联网文本数据大多为短文本,存在上下文语义不丰富、语序错乱等问题。且相较于英文,中文由于其语言特点,在短文本的细粒度实体分类和实体链接任务上更具有挑战性。因此,面向中文短文本的细粒度实体分类和实体链接任务,主要展开以下两个方面的研究: (1)针对传统细粒度实体分类方法没有充分利用短文本有限的上下文信息的问题,提出一种基于BERT-Bi LSTM的细粒度实体分类模型。BERT预训练模型通过双向训练的模式提取更加全面和丰富的上下文语义信息,双向长短时记忆网络通过对输入文本中单词序列建模,增强每个位置的单词对其所在上下文的长距离感受,充分提取出了上下文的语义特征信息。在公开数据集上进行细粒度实体分类实验,基于BERT-Bi LSTM的细粒度实体分类模型与其它基于神经网络的细粒度实体分类模型相比,分类效果有了显著提升。 (2)针对中文短文本存在的上下文语义不丰富、语序错乱等问题,提出一种基于多任务学习的中文短文本实体链接模型。将细粒度实体分类任务作为实体链接的辅助任务,促使模型对两个任务之间的隐含关系加以利用,从而最大化地挖掘文本的潜在信息,增强实体链接任务的表现。在中文短文本数据集上的实验结果表明,基于多任务学习的实体链接模型优于一系列基于深度学习和具有相同结构的单任务实体链接模型,充分验证了所提模型的有效性。

关键词：细粒度实体分类短文本实体链接多任务学习双向长短时记忆网络

来源：评论

学校读者我要写书评

暂无评论

基于多任务的元学习方法在细粒度实体分类中的研究

基于多任务的元学习方法在细粒度实体分类中的研究

引用

作者：郑路也浙江大学

学位级别：硕士

互联网发展至今,每时每刻都会产生海量的非结构化信息数据,需要利用信息抽取技术自动地将其转化为结构化知识数据存储并利用。细粒度实体分类任务是信息抽取研究关键性的基础任务之一,为知识图谱、知识库的构建提供了关键性的技术支撑... 详细信息

互联网发展至今,每时每刻都会产生海量的非结构化信息数据,需要利用信息抽取技术自动地将其转化为结构化知识数据存储并利用。细粒度实体分类任务是信息抽取研究关键性的基础任务之一,为知识图谱、知识库的构建提供了关键性的技术支撑。细粒度实体分类领域高质量数据资源匮乏,人工标注成本高,数据成为了模型的瓶颈。如何利用已有资源数据,获得更好的模型泛化能力,以及如何在少样本领域,有效地利用新标注的资源,都是亟待解决的问题。本文针对上述挑战,提出了两种方法,一种是针对整合现有数据集的多任务学习方法,另一种则是针对少样本领域的多任务元学习方法。(1)基于多任务的细粒度实体分类的方法。本文设计了基于多任务学习的硬参数共享机制,通过整合多个现有数据集和自主创建的数据集,得到一个通用型模型。此模型借助实体类型的层级信息,构建了实体类型的嵌入式表达;并通过共享特征抽取层,隐式地增加了训练数据,提高了网络的学习能力;在任务层方面,增强了与任务相关的信息,使得共享层的输出能够更加贴合任务本身,进一步提升模型拟合能力。实验结果证明,不论是数据集还是多任务学习的方法,对于细粒度实体分类任务都有较强的提升效果,最佳的模型在原基准模型上有百分之五十的提升。(2)基于多任务的元学习细粒度实体分类的方法。本文设计了一种基于多任务的元学习实验,在新任务上进行训练测试,进而比较模型学会学习的能力。在此基础上本文提出了两种方法:一种是基于梯度下降的元学习算法,它具有较快拟合,且普适性广的特点;另一种是基于原型网络的元学习算法,通过对每个任务中每个实体类型建立原型表征,令模型学习任务之间的先验分布,并通过使用该先验分布的训练结果,使模型在新数据集上取得更出色的成绩。最后通过实验结果表明基于多任务的元学习模型的结果能在基准模型上提升将近百分之四十,进一步证明了上述两种方法的优越性,为少量样本中的细粒度实体分类问题提供了新思路。本文提出的两种方法消除了现有细粒度实体分类数据集之间的鸿沟,也在一定程度上解决了少样本领域中细粒度实体分类的问题。此外,本文提出的方法参加了TAC 2019年知识库构建大赛,并取得了国内第一的成绩,并将方法直接应用到了由中国工程院牵头的中国工程科技知识中心建设项目,为知识库构建发挥了重要的作用。

关键词：细粒度实体分类元学习多任务学习少样本学习

来源：评论

学校读者我要写书评

暂无评论

基于多层面特征的细粒度实体分类方法的研究与实现

基于多层面特征的细粒度实体分类方法的研究与实现

引用

作者：任权北京邮电大学

学位级别：硕士

在当今文本信息极大丰富的互联网时代,实体分类作为提取文本中实体信息的任务具有很重要的研究价值。传统实体类别由于存在着语义宽泛和结构扁平的问题,不能满足自然语言处理领域其他相关技术发展的需求。随着实体类别在语义方面不断被... 详细信息

在当今文本信息极大丰富的互联网时代,实体分类作为提取文本中实体信息的任务具有很重要的研究价值。传统实体类别由于存在着语义宽泛和结构扁平的问题,不能满足自然语言处理领域其他相关技术发展的需求。随着实体类别在语义方面不断被细化的趋势,细粒度实体分类方法具有很重要的研究价值。实体类别不断细化会加大人工标注的难度,从而导致细粒度实体标注语料的匮乏。远程监督技术能够自动的获取大量标注语料,但语料中会包含噪音。针对上述问题,本文在实体位置已经识别的基础上,基于文本的多层面特征在人工标注样本和有噪音自动标注样本两种情况下研究了细粒度实体分类方法。在第一种情况下提出了基于原型网络的细粒度实体分类方法,该方法在FIGER(GOLD)语料第一层实体类别中的Macro-F1和Micro-F1分别为81.5%和81.5%,较研究现状提升了 0.5%和0.5%;在第二种情况下提出了基于层次推理的细粒度实体分类方法,该方法在FIGER(GOLD)、OntoNotes以及BBN语料上的Micro-F1分别为80.0%、72.5%和83.9%,较研究现状提升了1.0%、0.5%、3.4%。本文的主要贡献如下:1.提出了一种文本多层面的特征提取方法。以往研究仅提取了文本的部分信息,或未能充分交互不同层面的信息。本文分别基于单词以及字符层面提取了文本中的特征,且基于结构自注意力编码使实体与上下文进行交互,以此得到更为全面的文本表示。2.提出了基于原型网络的细粒度实体分类方法。以往基于人工标注样本的研究未能考虑实体在不同上下文中的语义变化,且未能有效利用外部知识。本文基于多层面特征获取实体与上下文的关系,并使用原型网络在两种实验设置下进行了研究。其中少样本实验设置研究了如何在少量人工标注样本中学习类别层次关系,零样本实验设置研究了如何使用外部知识把从人工标注学习到的类别信息向新类别进行迁移。在少样本实验设置中加入层次优化方法提升分类效果,在零样本实验设置中使用预训练语言模型作为外部知识来构建类别的原型。3.提出了基于层次推理的细粒度实体分类方法。以往基于有噪音自动标注样本的研究未能有效利用类别间层次关系,且现有对数据降噪的方法会出现确认偏差的问题。本文通过层次推理方法提高了模型对类别层次关系的利用能力,并在优化目标中加入顶层惩罚缓解了确认偏差带来的影响。4.设计并实现了基于多层面特征的实体分类系统。根据输入的文本,系统能够识别出实体的位置,并根据其上下文赋予实体细粒度的类别标签。

关键词：实体识别细粒度实体分类层次推理原型网络神经语言模型

来源：评论

学校读者我要写书评

暂无评论

基于细粒度实体分类的对比研究

引用

重庆工商大学学报（自然科学版） 2022年第4期39卷 9-18页

作者：周祺陶皖安徽工程大学计算机与信息学院安徽芜湖241000

细粒度实体分类是一项多类别多标签任务,能协助广泛的下游任务(关系抽取、共指消解、问答系统等)提高工作效率、优化准确率,已成为自然语言处理领域的一个研究热点。针对传统的细粒度实体分类方法人工标注大型语料库难度大,准确率偏低... 详细信息

细粒度实体分类是一项多类别多标签任务,能协助广泛的下游任务(关系抽取、共指消解、问答系统等)提高工作效率、优化准确率,已成为自然语言处理领域的一个研究热点。针对传统的细粒度实体分类方法人工标注大型语料库难度大,准确率偏低等问题,研究人员提出了基于神经网络的细粒度实体分类方法,不仅能够解决人工标注费时费力的问题,而且可以提高分类的准确率。然而现有的神经网络模型大多需要远程监督的参与,在此过程中会引入噪声标签等问题,通过噪声标签处理方法能够有效抑制噪声标签对分类结果的影响,进一步提升分类性能。在相同评测数据集下,根据相同评价指标对比各类细粒度实体分类方法的性能,可以发现在细粒度实体分类领域中采用BiLSTM处理实体指称上下文,并通过注意力机制提取更为重要的特征,有助于提高细粒度实体分类方法的准确率、Macro F1值和Micro F1值。

关键词：细粒度实体分类神经网络远程监督噪声处理

来源：评论

学校读者我要写书评

暂无评论

实体链接增强的细粒度实体标注工具以及分类方法

实体链接增强的细粒度实体标注工具以及分类方法

引用

作者：林升浙江大学

学位级别：硕士

信息抽取技术能够将海量的非结构数据转化为结构化的数据，形成机器容易处理和使用的形式。其中，细粒度实体分类是信息抽取中重要技术之一，能够改善一些下游任务如知识推理、知识库问答等的性能。细粒度实体分类任务中类别多，并以层... 详细信息

信息抽取技术能够将海量的非结构数据转化为结构化的数据，形成机器容易处理和使用的形式。其中，细粒度实体分类是信息抽取中重要技术之一，能够改善一些下游任务如知识推理、知识库问答等的性能。细粒度实体分类任务中类别多，并以层次结构表示，因此标注需要大量的人力成本，而且标注质量不高。这导致现有的数据集大都通过远程监督的方法获取，从而使数据集中包含大量的噪声，因此高效的标注工具十分重要。此外，很多模型只考虑局部上下文信息，忽略了上下文中不同实体提及的类别之间的关联，而考虑类别关联性的全局推断方法在候选类别数量较多的情况下复杂度高。基于上述问题，本文提出了实体链接增强的细粒度实体类别标注工具以及分类方法。同时，本文还提出了引入外部知识信息的动态文本增强实体链接方法，来提高链接的准确性。　　本文的内容主要包含以下三个部分:　　(1)动态文本增强的实体链接方法。该方法抽取了先验概率、编辑距离、语义相似度等局部特征，并在链接的过程中不断地加入已链接实体在知识库中的相关实体信息，用于解决文本信息匮乏的问题，以辅助接下来的实体决策。在训练时，采用了监督学习和强化学习的方法，在一些公开的数据集上取得了当前最好的结果。该工作已经被CCF B类会议EMNLP2019录用。　　(2)实体链接增强的细粒度实体类别标注工具。该工具提供了可视化的标注界面，并利用实体链接的技术，对层次化的类别结构进行约束，大量缩减了候选类别的数量。工具还添加了管理者模块，对众包标注的结果进行自动分析、生成分析报告。实验证明该工具能够显著提高标注效率和标注质量。该工作已经被CCF A类会议ACL2019录用。　　(3)实体链接增强的细粒度实体分类方法，通过更丰富的上下文信息，将不同实体提及的类别关联起来。该方法利用实体链接的结果对候选实体类别进行约束，然后计算上下文中不同实体提及间类别的相关性，最后用全局推断的方法得到所有实体提及的目标类别。该方法在公开的数据集以及手工标注的数据集上都取得了比较好的效果。　　本文的实体链接方法参与了TAC KBP2017的EDL任务上，获得了第二名，细粒度实体类别标注工具与分类方法参与了TAC KBP2019的EDL任务，获得了国内第一名。这几项技术也应用到了知识中心的项目中并以Web API的形式封装起来供使用。

关键词：信息抽取细粒度实体标注细粒度实体分类实体链接增强

来源：评论

学校读者我要写书评

暂无评论

基于预训练模型的命名实体识别与细粒度分类方法研究

基于预训练模型的命名实体识别与细粒度分类方法研究

引用

作者：黄雍圣杭州电子科技大学

学位级别：硕士

实体词汇作为文本信息中拥有重要价值的语义信息,在信息检索、系统问答等自然语言处理应用中具有重要作用。因此,对实体词汇的识别和分类一直以来都是信息抽取领域的研究热点。命名实体识别旨在从文本中发现特定实体并根据预先定义的标... 详细信息

实体词汇作为文本信息中拥有重要价值的语义信息,在信息检索、系统问答等自然语言处理应用中具有重要作用。因此,对实体词汇的识别和分类一直以来都是信息抽取领域的研究热点。命名实体识别旨在从文本中发现特定实体并根据预先定义的标签类型进行分类,而细粒度实体分类则是对已给定实体进行更为具体和细致的标签类别划分。命名实体识别模型在训练时需要大量标注数据,并且使用词典作为辅助信息可以提高模型性能,但是数据集与词典都存在构建成本较高的问题,而且在部分领域中还存在标注数据数量较少的情况。此外,如何充分挖掘实体词汇和上下文语句之间的有效信息来进行细粒度实体分类,以及如何减少细粒度实体分类结果中的错误分类标签也同样值得关注。针对上述命名实体识别与细粒度实体分类中存在的问题,本文展开以下研究: (1)为了降低命名实体识别模型对词典的依赖和应对部分领域中存在标注数据较少的问题,本文采用“大语言模型+小模型”的设计思路,提出了一种基于预训练模型的部分标签命名实体识别方法。该方法通过大语言模型提供词汇信息以降低模型对词典的依赖,使用经过少量有标注数据微调的大语言模型识别语料中存在的部分实体词汇及其标签,再利用部分标签模型进行优化处理以提高模型在缺少标注数据时的识别能力。部分标签模型采用字符对关系矩阵融合部分实体词汇与部分标签信息。实验结果表明,该方法在F1指标上优于各个对比模型,能有效缓解上述命名实体识别问题。 (2)为了充分挖掘上下文与实体词汇之间的有效信息与减少细粒度实体标签分类结果中的错误标签,本文提出了基于动态多层感知机与GPT校验器的细粒度实体分类方法。该方法依靠动态多层感知机从上下文中提取关键特征来动态生成自适应权值,并对实体词汇和自适应权值进行交互运算,实现实体词汇与上下文在高维空间中的信息融合并捕捉多维特征,充分挖掘两者之间的有效信息。通过使用经思维步骤提示的GPT模型对结果标签集进行验证以提高结果的准确性。通过对比实验,证明了该方法对于缓解上述细粒度实体分类问题的有效性。 (3)通过结合本文提出的命名实体识别模型和细粒度实体分类模型,本文设计并搭建了一个命名实体识别系统,该系统拥有数据存储、模型管理与训练、提示模板管理和实体抽取等功能。

关键词：命名实体识别词典预训练模型细粒度实体分类提示学习

来源：评论

学校读者我要写书评

暂无评论

实体知识抽取关键技术研究及应用

实体知识抽取关键技术研究及应用

引用

作者：庞焜元国防科技大学

学位级别：博士

信息时代互联网文本资源规模急剧膨胀,基于知识的互联网产品层出不穷,这些应用得以实现的前提是从互联网文本中抽取实体知识。尽管知识工程和信息抽取的相关研究在过去几十年中不断发展,但在实用中仍面临一些困难,例如在实体表示中需要... 详细信息

信息时代互联网文本资源规模急剧膨胀,基于知识的互联网产品层出不穷,这些应用得以实现的前提是从互联网文本中抽取实体知识。尽管知识工程和信息抽取的相关研究在过去几十年中不断发展,但在实用中仍面临一些困难,例如在实体表示中需要充足的上下文资源或知识图谱资源,无法应对语境信息不足甚至缺失的环境;依赖远监督方法提供充足训练样例的实体分类任务受远监督样例中的噪声影响,无法达到最佳的性能;在实体知识标注这样的复杂任务中,现有的研究对问题过度简化,无法为读者生成真正覆盖全面、详略得当的高质量标注;而现有语料直接反映的是人类标注者复杂的思维过程的最终结果,难以通过端到端的机器学习模型直接拟合。针对以上问题,本文研究了实体知识抽取中的关键技术:不依赖语境信息的实体表示技术,抗噪声的实体分类技术,基于表示增强以建模复杂需求的实体标注技术。本文还面向在线学习中的知识处理需求,构建了研究所需数据资源,将以上关键技术应用于在线课程资源的实体知识抽取。论文的主要内容和贡献点如下:第一,在不依赖语境信息的实体表示方面,本文提出了组合连续词袋模型(Compositional Continuous Bag of Words,C-CBOW)和用于计算组合语义向量表示的近邻聚类平均方法(Neighbour Cluster Average,NCA),通过词向量组合的方法生成短语的向量表示,以解决短语型实体的向量表示问题。首先,通过在训练中随机将词替换成组成词的字,使字的向量表示获得了词的向量表示的加权,进而使具有组合关系的字、词、短语在C-CBOW词向量空间中更接近。然后,通过检索字词近邻的方式,使用近邻的向量表示代表字词的所有义项。最后通过近邻聚类建模组成短语的字词义项的组合,获得短语组合语义的向量表示。实验表明C-CBOW词向量模型和NCA方法能够取得比现有方法更精确的语义向量表示。第二,在处理实体分类中的远监督噪声方面,本文提出了特征聚类前向损失纠正方法(Feature Cluster Loss Correction,FCLC)。FCLC 利用样本的特征分布,将样本分成不同的区域,然后在每个区域上利用高质量样本估计远监督噪声中的系统性噪声,最后利用局部前向纠正方法实现利用噪声样本训练无偏模型的目的。在三个权威评测数据集上进行的实验与分析表明FCLC在相比于之前的抗噪声细粒度实体分类方法有显著的提升。本文还设计实验验证了 FCLC需要的高质量样本较少,甚至在没有高质量样本情况下仍能通过伪标签生成的方式起到抗噪声效果。第三,在实体知识标注方面,本文提出了维基百科风格的实体发现与筛选模型(Discovery and Selection Like Wikipedia,DsWiki)。针对现有研究限定了实体范围,忽视了对标注结果筛选的问题,本文提出了实体标注中指称发现与筛选任务,并整理了反映人类专家对维基百科标注的数据集WikiC。针对开放实体边界问题,DsWiki模型使用基于端到端命名实体识别的框架,实现了对文本中所有子串的枚举和评分。为了补充指称发现的信息,DsWiki将基于指称-实体表的实体发现与链接结果作为参考列表,通过注意力机制实现了词符表示的增强。为了建模维基百科对于避免文章内多次链接到同一实体的筛选要求,DsWiki将重复信息进行编码加入词符表示,实现了表示增强。在WikiC评测数据集上与现有实体标注模型的对比,验证了 DsWiki在拟合维基百科专家的实体标注结果方面的效果。第四,在面向教育领域的应用研究方面,本文将研究的实体知识抽取技术应用于在线课程资源中的实体知识标注任务。针对现有研究对在线课程资源的标注不考虑语境、分类简单的问题,本文构建了细粒度课程字幕实体标注数据集CFG-MOOC,该数据集支持结合上下文信息和细粒度课程实体分类两个维度下的新应用场景。本文利用提出的实体知识抽取关键技术为新的应用场景构建了基线系统,为进一步开展在线学习资源的知识挖掘研究提供了基础。

关键词：实体知识抽取实体表示细粒度实体分类实体知识标注表示增强信息抽取自然语言处理

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：