自动化检测需求实体共指(EC),对于需求质量的一致性分析十分重要。现有方法往往是利用编辑距离或词嵌入等完成EC检测,其在没有大量专家标注数据的情况下和在捕获需求语句较为复杂的语义信息方面表现不佳。提出一种用于EC检测的新型深度网络DeepCorp(Deep&Context-wise&Requirements Operation Role Network),通过引入实体上下文和需求操作角色信息,使用多层感知机隐式融合嵌入表示来实现需求实体深层次的语义表达,从而进行实体语义相似性判断。在公开需求文档仓库上的实验表明,DeepCorp可达到96.72%准确率、96.67%召回率和96.69%F1,相较于现有方法平均提升1.27%。
现有的命名实体识别方法需要大量训练数据,在小样本场景下容易过拟合.针对该问题,提出一种基于预训练模型掩码预测的方法,引入上下文信息改善模型泛化能力.首先使用两路BERT(Bidirectional Encoder Representation from Transformers)...
详细信息
现有的命名实体识别方法需要大量训练数据,在小样本场景下容易过拟合.针对该问题,提出一种基于预训练模型掩码预测的方法,引入上下文信息改善模型泛化能力.首先使用两路BERT(Bidirectional Encoder Representation from Transformers)预训练模型,通过掩码替换计算当前词汇的词元表征和上下文表征;随后计算两者在BERT词表上的概率向量,使用自适应门控机制加权求和获得融合概率.若预测概率最大的词为本文预定义的类别标签词,则将当前词元分类为实体,否则分类为非实体.在来自不同领域的CoNLL03、OntoNotes5.0以及MIT-Movie数据集上的实验结果表明,所提算法的平均F1值相较于基准方法提升了12%,相较于提示词方法提升了4%~11%,有效改善了小样本下的泛化性能,证明引入上下文信息的有效性.
暂无评论