【目的】解决基于深度学习的实体关系抽取方法在古籍小样本场景下,由于依赖大规模标注数据而导致的微调效率低、抽取性能不佳问题。【方法】提出一种基于提示学习和抽取式阅读理解的古籍礼仪实体关系联合抽取方法。首先,将实体识别和关系抽取任务整合至一个抽取式阅读理解框架中,简化模型结构。然后,利用领域知识设计三种轻量级提示策略,有效降低联合抽取任务的复杂度。最后,基于预训练语言模型和全局指针网络构建古籍礼仪实体关系联合抽取模型MPG-GP(MRC-Prompt-GujiBERT with Global Pointer),有效抽取古籍中的礼仪实体关系三元组。【结果】在构建的古籍礼仪实体关系联合抽取数据集上进行实验,本文方法F1值比基线方法提升了0.32~6.05个百分点。【局限】在构建提示模板时,未采用可学习的软提示方式,并且提示设计仍有进一步优化的空间。【结论】所提方法能够有效缓解深度神经网络对大量标注数据的依赖,提升了模型在小样本古籍礼仪实体关系联合抽取任务上的准确性,为古籍低资源场景信息抽取提供了新的方法和思路。
基于“预训练+微调”范式的实体关系联合抽取方法依赖大规模标注数据,在数据标注难度大、成本高的中文古籍小样本场景下微调效率低,抽取性能不佳;中文古籍中普遍存在实体嵌套和关系重叠的问题,限制了实体关系联合抽取的效果;管道式抽取方法存在错误传播问题,影响抽取效果。针对以上问题,提出一种基于提示学习和全局指针网络的中文古籍实体关系联合抽取方法。首先,利用区间抽取式阅读理解的提示学习方法对预训练语言模型(PLM)注入领域知识以统一预训练和微调的优化目标,并对输入句子进行编码表示;其次,使用全局指针网络分别对主、客实体边界和不同关系下的主、客实体边界进行预测和联合解码,对齐成实体关系三元组,并构建了PTBG(Prompt Tuned BERT with Global pointer)模型,解决实体嵌套和关系重叠问题,同时避免了管道式解码的错误传播问题;最后,在上述工作基础上分析了不同提示模板对抽取性能的影响。在《史记》数据集上进行实验的结果表明,相较于注入领域知识前后的OneRel模型,PTBG模型所取得的F1值分别提升了1.64和1.97个百分点。可见,PTBG模型能更好地对中文古籍实体关系进行联合抽取,为低资源的小样本深度学习场景提供了新的研究思路与方法。
暂无评论