检索结果-内蒙古大学图书馆

中国图象图形学报 2023年第12期28卷 3838-3854页

作者：王顺杰蔡国永吕光瑞唐炜博桂林电子科技大学计算机与信息安全学院桂林541004 广西可信软件重点实验室桂林541004 大连海事大学信息科学技术学院大连116026

目的方面级多模态情感分析日益受到关注,其目的是预测多模态数据中所提及的特定方面的情感极性。然而目前的相关方法大都对方面词在上下文建模、模态间细粒度对齐的指向性作用考虑不够,限制了方面级多模态情感分析的性能。为了解决上述... 详细信息

目的方面级多模态情感分析日益受到关注,其目的是预测多模态数据中所提及的特定方面的情感极性。然而目前的相关方法大都对方面词在上下文建模、模态间细粒度对齐的指向性作用考虑不够,限制了方面级多模态情感分析的性能。为了解决上述问题,提出一个方面级多模态协同注意图卷积情感分析模型(aspect-level multi⁃modal co-attention graph convolutional sentiment analysis model,AMCGC)来同时建模方面指向的模态内上下文语义关联和跨模态的细粒度对齐,以提升情感分析性能。方法AMCGC为了获得方面导向的模态内的局部语义相关性,利用正交约束的自注意力机制生成各个模态的语义图。然后,通过图卷积获得含有方面词的文本语义图表示和融入方面词的视觉语义图表示,并设计两个不同方向的门控局部跨模态交互机制递进地实现文本语义图表示和视觉语义图表示的细粒度跨模态关联互对齐,从而降低模态间的异构鸿沟。最后,设计方面掩码来选用各模态图表示中方面节点特征作为情感表征,并引入跨模态损失降低异质方面特征的差异。结果在两个多模态数据集上与9种方法进行对比,在Twitter-2015数据集中,相比于性能第2的模型,准确率提高了1.76%;在Twitter-2017数据集中,相比于性能第2的模型,准确率提高了1.19%。在消融实验部分则从正交约束、跨模态损失、交叉协同多模态融合分别进行评估,验证了AMCGC模型各部分的合理性。结论本文提出的AMCGC模型能更好地捕捉模态内的局部语义相关性和模态之间的细粒度对齐,提升方面级多模态情感分析的准确性。

关键词：多模态情感分析方面级情感分析图卷积正交约束的自注意力机制跨模态协同注意方面掩码

来源：评论

学校读者我要写书评

暂无评论

面向方面的多模态情感分析方法研究

面向方面的多模态情感分析方法研究

引用

作者：王顺杰桂林电子科技大学

学位级别：硕士

各种互联网信息交流平台的出现为人们的生活提供了便利。越来越多的用户在社交媒体上表达观点和抒发情绪,生成了文本、图像、音视频等多种形式的媒体数据。这些用户生成的多模态社交媒体内容中通常蕴含复杂的情感信息,不同的方面可能表... 详细信息

各种互联网信息交流平台的出现为人们的生活提供了便利。越来越多的用户在社交媒体上表达观点和抒发情绪,生成了文本、图像、音视频等多种形式的媒体数据。这些用户生成的多模态社交媒体内容中通常蕴含复杂的情感信息,不同的方面可能表达的是不同极性的情感。方面级多模态情感分析在舆情分析、情感对话,尤其是商品和服务评论分析等领域具有重要应用价值。然而传统的情感分析多是粗粒度的,关注的是整体的情感。为了能够更为充分地揭示社交用户表达的细粒度情感,本文针对社交媒体中文本和图像的多模态内容开展方面级多模态情感分析,即针对多模态内容,推断给定目标方面的情感极性。由于多模态数据的异构性,面向方面的多模态情感分析在对多模态数据的理解上充满挑战。本文针对方面导向的不同模态数据表示,跨模态数据的对齐与融合以及跨模态的语义鸿沟等问题展开研究,通过增强方面在多模态数据的语义理解,提升方面和多模态内容的对齐度,最终提高方面级多模态情感分析的性能。本文的主要研究内容如下:(1)现有的多模态情感分析的方法大都侧重于多模态全局特征的挖掘与融合,忽略了更细粒度的多模态局部特征的关联,这极大地限制了方面级多模态情感分析的性能问题。为此,本文提出一种新颖的基于协同注意力的全局-局部特征融合网络的方面级多模态情感分析方法,该方法在构建方面引导的多模态全局协同注意力的基础上,引入门控的局部协同注意力以弥补全局文本特征和全局图像特征中细粒度信息的缺失,实现文本和图像之间更细粒度的多重交互对齐。然后,根据不同层次的多模态特征的特点,设计不同的融合方式以实现不同层次的多模态特征的深度融合。最后,在两个公开的数据集上将提出的方法与其他的相关方法进行一系列的对比,实验表明该方法能够提高面向方面的多模态情感分析的效果。(2)现有的多模态情感分析方法大都对方面词在模态上下文学习、模态间细粒度对齐的指向性作用研究不足,限制了方面级多模态情感分析的性能问题。为此,本文提出一个方面级多模态协同注意图卷积情感分析模型,该模型利用正交约束的自注意力机制生成各个模态的语义图,基于此,通过图卷积网络来学习方面导向的模态内的局部语义表示,并设计两个不同方向的门控局部跨模态交互机制以递进地实现文本语义图表示和视觉语义图表示的细粒度跨模态关联互对齐,从而降低模态间的异构鸿沟。尤其设计方面掩码来关注各模态图表示中方面节点特征作为情感表征,并引入跨模态损失来进一步地降低异质方面特征间的差异。最后,在两个公开数据集的实验结果表明,提出的方法相比基准方法能够显著提高方面级情感分析的性能。

关键词：方面级多模态情感分析局部特征跨模态协同注意图卷积方面掩码

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：