多粒度网络表示学习方法因其在学习节点表示过程中可以保留网络的多粒度特征而受到越来越多的关注.该类方法主要经过粗化和细化两个阶段.现有的工作侧重于设计粗化策略以压缩网络规模获得网络的多粒度结构.但是如何保留这种多粒度结构,将粗粒度空间的节点表示细化回原始网络仍具有挑战.本文提出一种基于聚合多阶邻域信息的细化方法的多粒度网络表示学习方法NRAM(Network Refinement based on Aggregating Multi-neighboring information).首先,对于粗化阶段生成的多粒度网络,仅利用现有的网络表示学习方法学习最粗粒度网络的表示;然后将从粗粒度网络继承的节点表示和细粒度网络的结构信息相融合得到细粒度网络的初始嵌入;最后通过聚合节点多阶邻域信息的方式得到细粒度网络的节点表示,迭代该过程直到获得原始网络的节点向量.在3个公共数据集上节点分类的结果证明了NRAM的有效性.
针对于目前传统的命名实体识别模型在食品案件纠纷裁判文书领域的准确率不足的问题,在双向长短时记忆网络的基础上提出一种基于双向编码器表示模型(bidirectional encoder representations from transformers, Bert)和注意力机制的命名...
详细信息
针对于目前传统的命名实体识别模型在食品案件纠纷裁判文书领域的准确率不足的问题,在双向长短时记忆网络的基础上提出一种基于双向编码器表示模型(bidirectional encoder representations from transformers, Bert)和注意力机制的命名实体识别模型。模型通过Bert层进行字向量预训练,根据上下文语意生成字向量,字向量序列输入双向长短期记忆网络(bi-directional long short-term memory, BiLSTM)层和Attention层提取语义特征,再通过条件随机场(conditional random field, CRF)层预测并输出字的最优标签序列,最终得到食品案件纠纷裁判文书中的实体。实验表明,该模型在食品纠纷法律文书上面的准确率和F1值分别达到了92.56%和90.25%,准确率相较于目前应用最多的BiLSTM-CRF模型提升了6.76%。Bert-BiLSTM-Attention-CRF模型通过对字向量的预训练,充分结合上下文语意,能够有效克服传统命名实体识别模型丢失字的多义性的问题,提高了食品案件纠纷裁判文书领域命名实体识别的准确率。
暂无评论