面向双注意力网络的特定方面情感分析模型

作     者：孙小婉 王英 王鑫 孙玉东 Sun Xiaowan;Wang Ying;Wang Xin;Sun Yudong

作者机构：吉林大学软件学院长春130012 吉林大学计算机科学与技术学院长春130012 符号计算与知识工程教育部重点实验室(吉林大学)长春130012 长春工程学院计算机技术与工程学院长春130012 

出 版 物：《计算机研究与发展》 (Journal of Computer Research and Development)

年 卷 期：2019年第56卷第11期

页      面：2384-2395页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(61872161,61602057,61976103) 吉林省科技发展计划项目(2018101328JC) 吉林省科技厅优秀青年人才基金项目(20170520059JH) 吉林省技术攻关项目(20190302029GX) 吉林省发改委项目(2019C053-8) 吉林省教育厅科研项目(JJKH20191257KJ) 

主　　题：特定方面情感分析 自注意力机制 多头注意力机制 双注意力网络 自然语言处理 

摘      要：特定方面情感分析已经成为自然语言处理领域的研究热点,其通过学习文本上下文的信息判别文本中特定方面的情感极性,可以更加有效地帮助人们了解用户对不同方面的情感表达.当前,将注意力机制和神经网络相结合的模型在解决特定方面情感分析任务时大多仅考虑单一层面的注意力信息,并且卷积神经网络无法获取全局结构信息、循环神经网络训练时间过长且单词间的依赖程度随着距离增加而逐渐减弱.针对上述问题,提出一种面向双注意力网络的特定方面情感分析(dual-attention networks for aspect-level sentiment analysis,DANSA)模型.首先,引入多头注意力机制,通过对输入进行多次不同的线性变换操作,获取更全面的注意力信息,同时,多头注意力机制可以实现并行化计算,保证了DANSA的训练速度.其次,DANSA引入自注意力机制,通过计算输入中每个单词与其他所有单词的注意力得分获取全局结构信息,并且单词间的依赖程度不会受到时间和句子长度的影响.最后,融合上下文自注意力信息与特定方面单词注意力信息,共同作为特定方面情感预测的依据,最终实现特定方面情感极性的预测.相比结合注意力机制的神经网络,DANSA弥补了注意力信息单一问题,不仅可以有效获取全局结构信息,还能够实现并行化计算,大大降低了训练时间.在SemEval2014数据集和Twitter数据集上进行实验,DANSA获得了更好的分类效果,进一步证明了DANSA的有效性.