咨询与建议

看过本文的还看了

相关文献

该作者的其他文献

文献详情 >基于多头自注意力机制的实体识别研究 收藏

基于多头自注意力机制的实体识别研究

Research on Entity Recognition Based on Multi-headed Self-attention Mechanism

作     者:陈伟 吴云志 涂凌 刘航 余克健 乐毅 CHEN Wei;WU Yun-zhi;TU Ling;LIU Hang;YU Ke-jian;YUE Yi

作者机构:安徽农业大学信息与计算机学院安徽合肥230036 安徽省北斗精准农业信息工程实验室安徽合肥230036 安徽大学物质科学与信息技术研究院安徽合肥230601 

出 版 物:《蚌埠学院学报》 (Journal of Bengbu University)

年 卷 期:2022年第11卷第5期

页      面:54-60页

学科分类:0831[工学-生物医学工程(可授工学、理学、医学学位)] 11[军事学] 0810[工学-信息与通信工程] 1105[军事学-军队指挥学] 08[工学] 0836[工学-生物工程] 081002[工学-信号与信息处理] 110503[军事学-军事通信学] 

基  金:青海省自然科学基金面上项目(2020-ZJ-913) 安徽省北斗精准农业信息工程实验室开放基金(BDSYS2021003) 安徽省现代农业产业技术体系专项经费(2021-2025) 

主  题:命名实体识别 多头自注意力机制 条件随机场 特征提取 

摘      要:为了有效利用专业领域知识,对知识抽取展开研究,针对传统命名识别容易受上下文相对距离的影响、实体整体识别效果差的问题,提出了一种多头自注意力机制与条件随机场(CRF)结合的实体抽取模型。该模型基于Transformer架构,使用多头自注意力机制有效获取上下文信息,构建了多头自注意力机制与CRF结合的实体抽取改进模型,通过拼接多个自注意力机制,减少了对上下文中相对距离过多的约束并特征提取,实现了上下文全局信息的获取能力,提高了模型的泛化能力。最后,基于《人民日报》公开数据集,与其他机器学习模型进行了实验对比,验证了本方法的有效性,并在水下机器人任务作业数据的实体抽取中取得了较好的实验结果。

读者评论 与其他读者分享你的观点

用户名:未登录
我的评分