领域知识增强的多模态评论有用性识别方法

作     者：杨颖 张凌峰 

作者机构：合肥工业大学 过程优化与智能决策教育部重点实验室 

出 版 物：《数据分析与知识发现》 (Data Analysis and Knowledge Discovery)

年 卷 期：2025年

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金面上项目(基于在线评论的复杂产品用户个性化动态知识服务机制研究 项目编号:72071061)的研究成果之一 

主　　题：评论有用性 多模态 知识增强 动态注意力 

摘      要：[目的]现有关于多模态评论有用性的研究大多关注图片和文本模态的简单融合，本文拟探讨产品领域知识以及图文动态交互对评论有用性的影响，提升多模态评论有用性识别的性能。[方法]本文提出了一种领域知识增强的多模态评论有用性识别方法，首先是基于评论的隐含主题信息识别领域关键词，并利用主题注意力机制获得评论的领域知识特征表示；接着设计了一个知识增强的图文动态交互模块，通过知识增强模态内自注意力机制获得知识与文本和图片进行动态交互后的特征表示，通过知识增强模态间协同注意力机制获得知识增强的文本与图片进行动态交互后的特征表示。[结果]在亚马逊数据集上检测的F1值得达到89.57%，比最优基线模型提高了0.9%。[局限]本文仅在英文数据集上进行实验，在中文数据集上的性能有待进一步研究。[结论]本文利用领域知识对模型进行增强，不仅能有效提升评论有用性识别的性能，还能很好地提取图片和文本中的关键信息，增加了模型的可解释性。