一种基于注意力机制与对抗神经网络的多模态融合方法

专利申请号：CN202310435542.0

公 开 号：CN116452935A

发 明 人：张平 周俊康 李方 

代 理 人：黄月莹

代理机构：广州粤高专利商标代理有限公司

专利类型：发明专利

申 请 日：20230718

公 开 日：20230421

专利主分类号：G06V10/80

关 键 词：模态 多模态 互补信息 冗余信息 冗余信息提取 神经网络算法 数据源类型 特征提取器 注意力机制 补偿算法 处理信息 模态数据 神经网络 私有信息 特征提取 提取处理 异常检测 语义信息 专家经验 不停机 冗余性 错乱 对抗 去除 权重 算法 注意力 互补性 共享 融合 网络 学习 

摘      要：本发明提出了一种基于注意力机制与对抗神经网络的多模态融合方法，包括以下步骤：设计模态异常检测与补偿算法，处理信息丢失错乱问题；针对不同的数据源类型，使用不同的特征提取器进行初步的特征提取，获取不同数据的初始语义信息；共享与私有信息提取，针对不同模态互补性和冗余性的特点，设计一个多模态对抗神经网络算法，从初步特征中将每一个模态中的互补信息和冗余信息提取出来，将冗余信息全部去除，降低后续算法的计算成本；针对对于不同的任务不同模态的重要性不一样的特点，设计多模态注意力网络，通过添加专家经验知识，学习不同模态的权重。本发明可以在不停机的情况下通过提取处理后的不同模态数据中的冗余信息和互补信息。