基于多头自注意力机制的实体识别研究

作     者：陈伟 吴云志 涂凌 刘航 余克健 乐毅 CHEN Wei;WU Yun-zhi;TU Ling;LIU Hang;YU Ke-jian;YUE Yi

作者机构：安徽农业大学信息与计算机学院安徽合肥230036 安徽省北斗精准农业信息工程实验室安徽合肥230036 安徽大学物质科学与信息技术研究院安徽合肥230601 

出 版 物：《蚌埠学院学报》 (Journal of Bengbu University)

年 卷 期：2022年第11卷第5期

页      面：54-60页

学科分类：0831[工学-生物医学工程（可授工学、理学、医学学位）] 11[军事学] 0810[工学-信息与通信工程] 1105[军事学-军队指挥学] 08[工学] 0836[工学-生物工程] 081002[工学-信号与信息处理] 110503[军事学-军事通信学] 

基　　金：青海省自然科学基金面上项目(2020-ZJ-913) 安徽省北斗精准农业信息工程实验室开放基金(BDSYS2021003) 安徽省现代农业产业技术体系专项经费(2021-2025) 

主　　题：命名实体识别 多头自注意力机制 条件随机场 特征提取 

摘      要：为了有效利用专业领域知识,对知识抽取展开研究,针对传统命名识别容易受上下文相对距离的影响、实体整体识别效果差的问题,提出了一种多头自注意力机制与条件随机场(CRF)结合的实体抽取模型。该模型基于Transformer架构,使用多头自注意力机制有效获取上下文信息,构建了多头自注意力机制与CRF结合的实体抽取改进模型,通过拼接多个自注意力机制,减少了对上下文中相对距离过多的约束并特征提取,实现了上下文全局信息的获取能力,提高了模型的泛化能力。最后,基于《人民日报》公开数据集,与其他机器学习模型进行了实验对比,验证了本方法的有效性,并在水下机器人任务作业数据的实体抽取中取得了较好的实验结果。