检索结果-内蒙古大学图书馆

计算机应用研究 2025年第4期42卷 1073-1079页

作者：余本功陈明玥合肥工业大学管理学院合肥230009 合肥工业大学过程优化与智能决策教育部重点实验室合肥230009

为了缩小模态间的异质性差异并缓解多个方面词带来的情感混淆,提出一种基于细粒度图像-方面的情感增强多模态方面级情感分析。具体地,该模型经过文本图像编码后,首先利用形容词-名词对将与方面词相关的图像信息加入到文本方面词中,并通... 详细信息

为了缩小模态间的异质性差异并缓解多个方面词带来的情感混淆,提出一种基于细粒度图像-方面的情感增强多模态方面级情感分析。具体地,该模型经过文本图像编码后,首先利用形容词-名词对将与方面词相关的图像信息加入到文本方面词中,并通过细粒度图像-方面跨模态注意力机制优化图像表征,得到细粒度方面词-图像特征;接着,基于句法结构引入情感得分,得到基于方面词的文本情感特征;最后,进行模态融合得到最终情感预测结果。在Twitter-2015和Twitter-2017数据集上,与基线模型TMSC相比,提出模型值准确率分别提高了0.25百分点和0.16百分点,充分证明了细粒度的图文匹配和情感增强操作有助于提高分类效果。

关键词：多模态方面级情感分析形容词-名词对跨模态注意力机制情感分数模态融合

来源：评论

学校读者我要写书评

暂无评论

基于文本和图像门控融合机制的多模态方面级情感分析

引用

计算机科学 2024年第9期51卷 242-249页

作者：张添植周刚刘洪波刘铄陈静战略支援部队信息工程大学郑州450001 数学工程与先进计算国家重点实验室郑州450001

多模态方面级情感分析是多模态情感分析领域的一项新兴任务,旨在对给定的方面实体在文本和图像中所体现的情感进行识别。尽管多模态方面级情感分析研究近年来取得了突破性的进展,但是现有的模型在多模态特征融合阶段大都仅采用简单的拼... 详细信息

多模态方面级情感分析是多模态情感分析领域的一项新兴任务,旨在对给定的方面实体在文本和图像中所体现的情感进行识别。尽管多模态方面级情感分析研究近年来取得了突破性的进展,但是现有的模型在多模态特征融合阶段大都仅采用简单的拼接方法,而没有考虑图像中是否存在与文本语义不相关的信息,这在一定程度上可能会为模型引入额外的噪声。为了解决上述问题,提出了一种基于文本和图像门控融合机制的多模态方面级情感分析模型(TIGFM)。该模型在文本和图像进行交互的同时引入了从数据集图像中提取的形容词-名词对(ANPs),并将其中形容词的加权作为图像辅助信息;此外,在特征融合阶段,通过构建一种动态控制图像和图像辅助信息输入的门控机制实现多模态特征融合。实验结果表明,TIGFM模型在两个基于Twitter的数据集上取得了具有竞争力的结果,进而验证了所提方法的有效性。

关键词：多模态方面级情感分析门控融合机制形容词-名词对图像辅助信息语义相关性

来源：评论

学校读者我要写书评

暂无评论

针对图文模态间实体对齐的目标实体情感分类

引用

计算机工程 2024年

作者：张添植周刚张爽陈静黄宁博吴皓战略支援部队信息工程大学数据与目标工程学院辽宁省交通高等专科学校信息工程系

随着社交媒体在人们生活中的普及，多模态情感分类研究在近年来受到了广泛的关注。多模态目标实体情感分类是多模态情感分类研究领域的一项重要任务，旨在结合文本和图像等多种模态信息预测所指代实体的情感极性。尽管当前已有众多学者... 详细信息

随着社交媒体在人们生活中的普及，多模态情感分类研究在近年来受到了广泛的关注。多模态目标实体情感分类是多模态情感分类研究领域的一项重要任务，旨在结合文本和图像等多种模态信息预测所指代实体的情感极性。尽管当前已有众多学者针对该任务提出了一系列的建模方法，但是这些方法还无法做到文本和图像模态间实体的精准对齐，从而直接影响了模型在目标任务上的准确性。为了解决这一问题，提出了针对图文模态间实体对齐的目标实体情感分类（Image-Text Multimodal Entity Alignment for Target-oriented Sentiment Classification， ITMEA）模型。该模型首先采用从图像中所提取的形容词-名词对（Adjective-Noun Pairs， ANPs）设计了情感辅助信息，使得图像中目标实体的关键情感信息获得更直观的表达，同时也采用多模态大语言模型LLaMA-Adapter V2设计了特征描述信息，进一步实现模态间目标实体的精准对齐。此外，模型在模态间特征融合阶段构建了一种门控机制，通过动态控制文本以外信息的输入防止与文本语义不相关的信息引入额外干扰。在两个Twitter基准数据集Twitter-2015和Twitter-2017上的实验结果表明，ITMEA模型相较于对比基线中的最优方法准确率分别提升了约1.00%和0.57%，进而验证了本文所设计方法的有效性和优越性。

关键词：多模态情感分类目标实体情感分类形容词-名词对多模态大语言模型门控机制

来源：评论

学校读者我要写书评

暂无评论

基于图文融合的多模态情感反讽检测方法研究

基于图文融合的多模态情感反讽检测方法研究

引用

作者：李锁山东工商学院

学位级别：硕士

情感是人类对于事物、事件和个体所产生的主观情绪体验。反讽是传达的一种隐含情感信息,是利用反话、相矛盾的语言来反映人在某种场景下的感受。反讽检测是通过各种技术手段来分析人们的真实情感。反讽检测不仅是情感分析领域的重要研... 详细信息

情感是人类对于事物、事件和个体所产生的主观情绪体验。反讽是传达的一种隐含情感信息,是利用反话、相矛盾的语言来反映人在某种场景下的感受。反讽检测是通过各种技术手段来分析人们的真实情感。反讽检测不仅是情感分析领域的重要研究内容,也是自然语言处理研究的热点问题之一。早期的反讽检测研究大多是基于单模态文本分析的方法。近年来,随着新媒体技术的快速发展,越来越多的网民喜欢使用图像、文本、视频等多模态信息来表达自己的情感。图文多模态反讽通过图像和文本信息之间的矛盾和冲突来实现反讽效果,因此将图像信息融合到多模态反讽检测任务中,是该领域的新趋势。以往基于特征融合、决策融合的多模态融合方法,往往忽略了多模态数据之间的交互,导致在多模态融合过程中数据的缺失,同时难以识别各模态内隐藏的信息冲突以及模态间信息的不一致性,从而导致在多模态反讽识别任务中预测准确率不高。针对以上问题,本文的主要工作和贡献如下:(1)采用形容词-名词对(Adjective-Noun Pairs,ANPs)来表示图像语义信息。为了发挥图像在多模态反讽检测中的作用,采用基于图像深度学习研发的视觉情感本体(Visual Sentiment Ontology,VSO)和Deep Senti Bank检测器,检测图像的语义信息,并以ANPs的形式表示,将其作为图像的属性特征输入到网络模型中,ANPs能够更加准确的描述图像中蕴含的复杂语义信息,弥补了以往单一名词实体特征的局限性,从而增强反讽检测性能。(2)提出共享和对比融合网络(Share and Compare Fusion Network,SCFNet)模型。在SCFNet模型结构中,共享融合网络通过将文本特征向量和图像特征向量进行两两映射,使得不同模态的特征可以相互补充,以此获得这两种模态之间的交互信息,从而弥补多模态数据在融合过程中的缺失。对比融合网络利用交互注意力矩阵融合文本特征和图像属性特征,并采用非线性函数来感知图像和文本之间的对比关系,捕捉不同模态间的反讽性特征,为多模态反讽检测提供推理能力和语义解释。SCFNet模型在多模态反讽数据集上的准确率和F1分数分别提升了1.57%、1.42%。(3)提出跨模态注意力融合网络(Cross Modal Attention Fusion Network,CMAFNet)模型。CMAFNet模型主要由自注意力融合网络和交叉注意力融合网络组成。自注意力融合网络是对文本、图像模态内关系进行分析,将注意力机制嵌入到Transformer中,以挖掘模态内的不一致性,并使用卷积神经网络和池化操作聚合这些特征来获得全局特征。交叉注意力融合网络对图像模态区域特征和文本模态特征之间的关系建模,通过跨模态融合来分析模态间的交互,捕捉图像和文本模态信息之间的不一致性,从而达到反讽识别效果,最终为给定的图像和文本获得了两对嵌入,用于分析图像和文本信息之间的匹配,CMAFNet模型在反讽数据集上的性能优于基线模型。通过在公开的多模态反讽数据集上进行实验验证,结果表明了本文提出的两种基于图文融合多模态反讽检测方法的有效性,对多模态情感反讽检测任务,具有重要的指导意义和广泛的应用价值。

关键词：多模态反讽检测形容词-名词对共享和对比融合网络自注意力交叉注意力

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：