用于目标检测的多模态融合方法和装置

专利申请号：CN202211632026.9

公 开 号：CN116109895A

发 明 人：王震 林昌伟 赵勇 

代 理 人：赵红凯

代理机构：北京科慧致远知识产权代理有限公司

专利类型：发明专利

申 请 日：20230512

公 开 日：20221219

专利主分类号：G06V10/80

关 键 词：深度特征 特征图 透明度参数 主干网络 模态 融合 计算机视觉领域 方法和装置 目标检测器 复杂场景 互补信息 目标检测 冗余信息 深度图像 有效获取 多模态 申请 图像 输出 检测 

摘      要：本申请实施例提供一种用于目标检测的多模态融合方法和装置，属于计算机视觉领域，方法包括：将RGB图像和深度图像输入同一主干网络，得到第一RGB特征图和第一深度特征图；将第一RGB特征图和第一深度特征图输入主干网络，得到主干网络输出的第二RGB特征图和第二深度特征图；根据第一RGB特征图和第一深度特征图，得到第一透明度参数；根据第二RGB特征图、第二深度特征图和第一透明度参数，得到用于目标检测器训练的第一融合参数。本申请融合RGB模态和Depth模态，通过第一RGB特征图和第一深度特征图，得到图像的透明度参数，有效获取二者互补信息且摒弃冗余信息，在复杂场景下具有良好的检测效果。