知识超图(Knowledge Hypergraph， KHG)是一种超图结构的知识图谱。知识超图链接预测是基于已知的实体和关系来预测缺失的实体或关系，具有重要的意义和价值。然而，现有基于神经网络的知识超图链接预测方法，只关注关系事实局部的语义特征，缺乏对关系事实之间关联特征的表示学习。针对以上问题，提出了一种基于图注意力网络与卷积神经网络的链接预测方法(Knowledge Prediction based on GAT and Convolution Neural Network， HPGC)。一方面，采用改进的卷积网络(Convolution Neural Network， CNN)提取知识超图中节点实体表示的局部特征；另一方面，使用改进的GAT对节点和关系进行注意力建模，捕获节点之间的全局特征关系，并将两者进行融合，从而获取关系事实更全面的邻域结构，丰富超图关系事实的语义表示。此外，针对HPGC的GAT层输出矢量问题，引入多层感知机 (Multilayer Perceptron， MLP) 和正则化技术，提高模型训练的泛化能力。真实数据集上的大量实验结果验证了所提出方法的预测性能均优于基线方法。
针对现有的图文情感分析方法未能充分考虑图像和文本之间存在的语义不一致问题,以及未对图像和文本表达不同情感的数据做相应处理,从而导致分类不精准的现象,提出基于语感一致性的社交媒体图文情感分析(social media image-text sentime...
详细信息
针对现有的图文情感分析方法未能充分考虑图像和文本之间存在的语义不一致问题,以及未对图像和文本表达不同情感的数据做相应处理,从而导致分类不精准的现象,提出基于语感一致性的社交媒体图文情感分析(social media image-text sentiment analysis based on semantic sense consistency,SA-SSC)方法。首先,使用RoBERTa和双向门控循环单元(bidirectional gated recurrent unit,BiGRU)提取文本语义特征,使用ResNet101获取图像视觉特征;然后,采用指导注意力(guided attention,GA)从图像区域情感和文本内容找到表达用户情感的显著性区域,得到新的图像视觉特征;最后,利用协同注意力将2种模态的特征进行融合,进而完成情感分类。在本文构建的MMSD-CN中文社交媒体图文情感数据集和CCIR-YQ数据集上进行了实验验证,结果表明,SA-SSC方法可以有效减弱图文语感不一致对社交媒体图文情感分析造成的影响,在各项评价指标上均取得了较高的提升。
社交媒体中的图文情感对于引导舆论走向具有重要意义，越来越受到自然语言处理领域的广泛关注。当前，社交媒体图文情感分析的研究对象主要为单幅图像文本对，针对无时序性及多样性的图集文本对的研究相对较少，为有效挖掘图集中图像与文本之间情感一致性信息，提出了基于联合交互注意力的图文情感分析方法（Images-Text Sentiment Analysis In Social Media Based On Joint And Interactive Attention，SA-JIA）。该方法使用RoBERTa和Bi-GRU来提取文本表达特征，使用ResNet50获取图像视觉特征，利用联合注意力来找到图文情感信息表达一致的显著区域，获得新的文本和图像视觉特征，采用交互注意力关注模态间的特征交互，并进行多模态特征融合，进而完成情感分类任务。在IsTS-CN数据集和CCIR20-YQ数据集上进行了实验验证，实验结果表明所提出的模型方法能够提升社交媒体图文情感分析的性能。
暂无评论