融合图文不一致特征的多模态谣言检测方法

作     者：刘先博 窦逸飞 向澳 杜彦辉 冯俊又 徐煊翔 陈李舟 

作者机构：中国人民公安大学信息网络安全学院 中国人民公安大学犯罪学学院 武汉大学计算机学院 

出 版 物：《情报杂志》 (Journal of Intelligence)

年 卷 期：2025年

核心收录：

学科分类：12[管理学] 1204[管理学-公共管理] 03[法学] 0306[法学-公安学] 

基　　金：中央高校建设世界一流大学(学科)和特色发展引导专项“中国人民公安大学网络空间安全执法技术双一流创新研究专项”(编号:2023SYL07)的研究成果 

主　　题：谣言检测 多模态融合 注意力机制 图像伪造 群体性事件 

摘      要：[研究目的]群体性事件信息因其紧急性、复杂性和特殊性的特点往往会在网络上迅速传播,需要公安机关及时引导、处置。文章针对群体性事件谣言信息检测任务,提出一种融合图文不一致特征的多模态谣言检测方法,为基层公安民警针对群体性事件开展谣言处置工作提供技术支持,以期提升网络谣言类案件打击整治能力。[研究方法]在不依赖用户评论信息、传播模式等信息的情况下,通过基于频域自注意力机制的伪造特征提取模块和基于交互注意力机制的图文歧义特征提取模块获取多模态帖文文本、图像模态信息中全局语义特征、细粒度语义差异性特征和图像频域上的伪造特征,并通过基于门控注意力机制的多模态特征融合模块动态调整不同特征对于最终任务的权重融合多维特征,减少数据冗余,最后在两个公开数据集进行对比实验和消融实验,并针对模型在不同类型谣言的检测性能进行了对比和案例分析。[研究结果/结论]实验结果表明,该方法在Weibo和Twitter数据集中的谣言检测准确率分别提升2.4%和2.8%,并在多个指标上取得最优表现,展现出其在多模态谣言检测任务中的显著优势。此外,模型在社会、健康、政治等图文不一致特征明显的谣言类型中检测效果较好,进一步验证了模型的有效性。