社交媒体中的图文情感对于引导舆论走向具有重要意义，越来越受到自然语言处理领域的广泛关注。当前，社交媒体图文情感分析的研究对象主要为单幅图像文本对，针对无时序性及多样性的图集文本对的研究相对较少，为有效挖掘图集中图像与文本之间情感一致性信息，提出了基于联合交互注意力的图文情感分析方法（Images-Text Sentiment Analysis In Social Media Based On Joint And Interactive Attention，SA-JIA）。该方法使用RoBERTa和Bi-GRU来提取文本表达特征，使用ResNet50获取图像视觉特征，利用联合注意力来找到图文情感信息表达一致的显著区域，获得新的文本和图像视觉特征，采用交互注意力关注模态间的特征交互，并进行多模态特征融合，进而完成情感分类任务。在IsTS-CN数据集和CCIR20-YQ数据集上进行了实验验证，实验结果表明所提出的模型方法能够提升社交媒体图文情感分析的性能。
暂无评论