基于细粒度图文对齐的多模态事件抽取方法

作     者：曹健威 孙英杰 李凌寒 曾维新 胡艳丽 CAO Jianwei;SUN Yingjie;LI Linghan;ZENG Weixin;HU Yanli

作者机构：国防科技大学信息系统工程全国重点实验室长沙410073 国防科技大学大数据与决策实验室长沙410073 

出 版 物：《火力与指挥控制》 (Fire Control & Command Control)

年 卷 期：2025年第50卷第4期

页      面：135-140,149页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(72471237) (72371245) 

主　　题：多模态事件抽取 图文对齐 多模态预训练模型 信息抽取 事件抽取 

摘      要：多模态事件抽取旨在从图文数据中抽取结构化的多模态事件信息,其核心在于克服不同模态数据之间的差异,并建立跨模态的关联。提出一种基于细粒度图文对齐的多模态事件抽取方法,由单模态信息抽取和多模态信息融合两个阶段组成。利用文本事件抽取和视觉实体抽取模型获取细粒度的单模态事件信息;基于多模态预训练模型进行细粒度图文对齐,得到多模态事件信息。在多模态事件抽取数据集上进行实验,验证了方法的有效性。