基于多模态信息融合的中文隐式情感分析

作     者：张换香 李梦云 张景 ZHANG Huanxiang;LI Mengyun;ZHANG Jing

作者机构：内蒙古科技大学创新创业教育学院内蒙古包头014010 上海大学计算机工程与科学学院上海200444 内蒙古科技大学数智产业学院内蒙古包头014010 内蒙古科技大学理学院内蒙古包头014010 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2025年第61卷第2期

页      面：179-190页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：内蒙古自然科学基金(2023MS06012) 自治区直属高校基本科研业务费项目(2024QNJS033,2024XKJX019) 

主　　题：隐式情感分析 深度神经网络 多模态 注意力机制 特征融合 

摘      要：隐式情感表达中缺乏显式情感词,给隐式情感分析带来一定的挑战。为有效解决此问题,借助外部信息是有效解决隐式情感分析的方法之一。与现有的主要借助单一文本信息的研究不同,提出一种融合多模态信息(包括语音和视频)的隐式情感分析方法。通过从语音中提取音调、强度等声学特征,以及从视频中捕捉面部表情等视觉特征,辅助理解隐式情感。利用BiLSTM网络挖掘各单模态内部的上下文信息;结合多头互注意力机制分别捕捉与文本相关的语音和视觉特征,并通过迭代优化,减少非文本模态的低阶冗余信息。此外,通过设计以文本为中心的交叉注意融合模块,强化隐式文本特征表示,并处理模态间的异质性,增强隐式情感分析的综合性能。在CMUMOSI、CMU-MOSEI、MUMETA数据集上的实验结果表明,所提出的模型优于其他基线模型。这种针对隐式情感分析的多模态处理策略,充分利用语音和视觉外部知识,更全面、准确地捕捉隐式情感表达,有效提升了隐式情感分析的准确率。