基于预训练和多模态融合的假新闻检测

作     者：周昊玮 刘勇 玄萍 ZHOU Haowei;LIU Yong;XUAN Ping

作者机构：黑龙江大学计算机科学与技术学院黑龙江哈尔滨150080 汕头大学工学院计算机科学与技术系广东汕头515063 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2024年第50卷第1期

页      面：289-295页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61972135) 黑龙江省自然科学基金(LH2020F043) 

主　　题：假新闻检测 预训练 多模态融合 引导向量 跨模态共享特征 阶段融合 

摘      要：现有的多模态检测模型通常对每个模态的特征进行简单拼接,不能对模态之间的相关性进行有效建模,而且很难迁移到标签稀少的领域。提出一种基于预训练和多模态融合的假新闻检测模型PMFD。提取新闻附带图像不同区域的特征作为图像原始向量,合并图像原始向量作为图像引导向量,设计早期融合、中期融合、后期融合3种不同的多模态融合方式。在早期融合阶段,通过图像引导向量初始化文本特征提取器,获取文本原始向量,合并文本原始向量作为文本引导向量。在中期融合阶段,使用模态的原始向量集合与其他模态的引导向量构造模态的特征表示。在后期融合阶段,融合不同模态的特征表示,构造新闻的特征表示。为提高模型的泛化能力,在标签丰富的数据上对PMFD进行预训练,然后再在标签稀少的数据上对PMFD进行微调。在公开数据集上的实验结果表明,PMFD能有效检测假新闻结果,相对传统模型CNN、LSTM、BERT等有10%以上的提升,相对EANN、M_model多模态假新闻检测模型有2%~3%的提升。