双图融合驱动下说话人感知增强的多模态会话情感分析

作     者：董凯 蔡国永 邓天生 王顺杰 

作者机构：桂林电子科技大学计算机与信息安全学院 桂林电子科技大学广西可信软件重点实验室 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2025年

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(62366010) 广西自然科学基金(2024GXNSFAA010374) 

主　　题：多模态会话情感分析 说话人感知 大语言模型 双图融合 

摘      要：以往的多模态会话情感分析主要侧重于上下文信息建模，但在说话人性格特征的提取，不同说话人之间交互以及互补信息的传递上具有一定的局限性，同时在跨模态融合中未能充分捕获上下文情感线索。针对上述问题，提出了一种双图融合驱动下说话人感知增强的方法。首先通过跨模态注意力机制分层捕获模态内和模态间的上下文情感线索，然后设计提示模板结合大语言模型提取说话人的性格特征，接着构建多维度的说话人感知依赖图，包括同一说话人内部依赖图和不同说话人之间的交互依赖图，并与性格特征融合后，利用图注意力传递话语之间的依赖信息，最后通过交互模块实现不同感知依赖图之间的信息交换与融合，并引入交互损失以增强图间的敏感度。在两个公开的多模态数据集上进行广泛实验，实验结果充分证明了方法的有效性。