图编辑距离(GED)是一种常用的图相似性度量函数，其精确计算为NP-hard问题。因此，近期研究者们提出诸多基于图神经网络的图相似度计算方法。现有方法在特征提取时忽略了两个图节点之间的跨图交互信息，并且缺乏对图中节点高阶关系的学习。针对以上问题，提出了一种基于跨图特征融合和结构感知注意力的图相似度计算模型(Cross-graph feature fusion with structure-aware attention for graph similarity computation,CFSA)。首先，该模型提出了一种跨图节点特征学习方法，引入跨图注意力机制提取节点的跨图交互信息，并将节点的局部特征和跨图交互特征进行有效融合；其次，提出了一种结构感知型多头注意力机制，结合节点特征信息和图结构信息，有效捕捉节点间的高阶关系。在3个公共数据集上的实验结果表明，CFSA模型的预测准确率相较于现有模型分别提升4.8%、5.1%、15.8%，且在大多项性能指标上均有优势，证明了CFSA在GED预测任务上的有效性和效率。
社交媒体中的图文情感对于引导舆论走向具有重要意义，越来越受到自然语言处理领域的广泛关注。当前，社交媒体图文情感分析的研究对象主要为单幅图像文本对，针对无时序性及多样性的图集文本对的研究相对较少，为有效挖掘图集中图像与文本之间情感一致性信息，提出了基于联合交互注意力的图文情感分析方法（Images-Text Sentiment Analysis In Social Media Based On Joint And Interactive Attention，SA-JIA）。该方法使用RoBERTa和Bi-GRU来提取文本表达特征，使用ResNet50获取图像视觉特征，利用联合注意力来找到图文情感信息表达一致的显著区域，获得新的文本和图像视觉特征，采用交互注意力关注模态间的特征交互，并进行多模态特征融合，进而完成情感分类任务。在IsTS-CN数据集和CCIR20-YQ数据集上进行了实验验证，实验结果表明所提出的模型方法能够提升社交媒体图文情感分析的性能。
针对现有的图文情感分析方法未能充分考虑图像和文本之间存在的语义不一致问题,以及未对图像和文本表达不同情感的数据做相应处理,从而导致分类不精准的现象,提出基于语感一致性的社交媒体图文情感分析(social media image-text sentime...
详细信息
针对现有的图文情感分析方法未能充分考虑图像和文本之间存在的语义不一致问题,以及未对图像和文本表达不同情感的数据做相应处理,从而导致分类不精准的现象,提出基于语感一致性的社交媒体图文情感分析(social media image-text sentiment analysis based on semantic sense consistency,SA-SSC)方法。首先,使用RoBERTa和双向门控循环单元(bidirectional gated recurrent unit,BiGRU)提取文本语义特征,使用ResNet101获取图像视觉特征;然后,采用指导注意力(guided attention,GA)从图像区域情感和文本内容找到表达用户情感的显著性区域,得到新的图像视觉特征;最后,利用协同注意力将2种模态的特征进行融合,进而完成情感分类。在本文构建的MMSD-CN中文社交媒体图文情感数据集和CCIR-YQ数据集上进行了实验验证,结果表明,SA-SSC方法可以有效减弱图文语感不一致对社交媒体图文情感分析造成的影响,在各项评价指标上均取得了较高的提升。
暂无评论