深度学习在自然语言处理方面取得了巨大进展,以深度神经网络为代表的模型开始在法律智能判决上被广泛使用。基于Transformer的双向编码器表征法(Bidirectional Encoder Representations from Transformers,BERT)模型能够挖掘法律描述文...
详细信息
深度学习在自然语言处理方面取得了巨大进展,以深度神经网络为代表的模型开始在法律智能判决上被广泛使用。基于Transformer的双向编码器表征法(Bidirectional Encoder Representations from Transformers,BERT)模型能够挖掘法律描述文本中双向上下文信息,利用BERT中自注意力机制完成了罪名预测、法律条款推荐、刑期预测多个司法智能审判任务。为了在长文本案情描述文本上获得更好的效果,进一步解决BERT模型输入文本的长度限制,对于过长的输入文本进行关键信息提取。在文本提取的过程中,充分利用前期训练的基于BERT智能审判模型,对于案情描述中句子的重要性进行评估,提取关键句子减少判断模型的输入长度。将精简后的案情描述文本再送入BERT模型进行司法智能审判学习。相比于直接输入原始案情描述文本的方法,基于文本提取处理后的法律描述在智能审判任务中能够取得更好的效果。
目前,空管各类安全管理信息化平台积累了大量非结构化文本数据,但未得到充分利用,为了挖掘空管不正常事件中潜藏的风险,研究利用收集的四千余条空管站不正常事件数据和自构建的4836个空管领域专业术语词,提出了一个基于空管专业信息词抽取的双向编码器表征法和双向长短时记忆网络的深度学习模型(Bidirectional Encoder Representations from Transformers-Bidirectional Long Short-Term Memory,BERT-BiLSTM)。该模型通过对不正常事件文本进行信息抽取,过滤其中无用信息,并将双向编码器表征法(Bidirectional Encoder Representations from Transformers,BERT)模型输出的特征向量序列作为双向长短时记忆网络(Bidirectional Long Short-Term Memory,BiLSTM)的输入序列,以对空管不正常事件文本风险识别任务进行对比试验。试验结果显示,在风险识别试验中,基于空管专业信息词抽取的BERT-BiLSTM模型相比于通用领域的BERT模型,风险识别准确率提升了3百分点。可以看出该模型有效提升了空管安全信息处理能力,能够有效识别空管部门日常运行中出现的不正常事件所带来的风险,同时可以为空管安全领域信息挖掘相关任务提供基础参考。
暂无评论