版权所有:内蒙古大学图书馆 技术提供:维普资讯• 智图
内蒙古自治区呼和浩特市赛罕区大学西街235号 邮编: 010021
专利申请号:CN202211632026.9
公 开 号:CN116109895A
代 理 人:赵红凯
代理机构:北京科慧致远知识产权代理有限公司
专利类型:发明专利
申 请 日:20230512
公 开 日:20221219
专利主分类号:G06V10/80
关 键 词:深度特征 特征图 透明度参数 主干网络 模态 融合 计算机视觉领域 方法和装置 目标检测器 复杂场景 互补信息 目标检测 冗余信息 深度图像 有效获取 多模态 申请 图像 输出 检测
摘 要:本申请实施例提供一种用于目标检测的多模态融合方法和装置,属于计算机视觉领域,方法包括:将RGB图像和深度图像输入同一主干网络,得到第一RGB特征图和第一深度特征图;将第一RGB特征图和第一深度特征图输入主干网络,得到主干网络输出的第二RGB特征图和第二深度特征图;根据第一RGB特征图和第一深度特征图,得到第一透明度参数;根据第二RGB特征图、第二深度特征图和第一透明度参数,得到用于目标检测器训练的第一融合参数。本申请融合RGB模态和Depth模态,通过第一RGB特征图和第一深度特征图,得到图像的透明度参数,有效获取二者互补信息且摒弃冗余信息,在复杂场景下具有良好的检测效果。