基于双向特征融合的物体位姿估计方法

作     者：缪君 严杰 杜荣华 李磊 储珺 

作者机构：南昌航空大学航空制造与机械工程学院 中国科学院月球与深空探测重点实验室 南昌航空大学计算机视觉研究所 

出 版 物：《吉林大学学报(工学版)》 (Journal of Jilin University(Engineering and Technology Edition))

年 卷 期：2024年

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金项目(62366032 62361043 62162045) 中国科学院月球与深空探测重点实验室开放基金项目(LDSE202301) 

主　　题：位姿估计 双向特征融合 特征差异 距离约束 注意力机制 

摘      要：为了充分利用RGB图像的外观特征和深度图像的几何特征，提出了一种“外观-几何特征并行融合的物体位姿估计方法。首先，在特征提取与融合阶段，构建了一种三个并行支流的双向融合体系结构，确保在每个编码和解码层对并行的RGB图像特征和深度图像特征进行融合。同时，为避免重要特征丢失且两种特征充分融合，构造了两个互补的注意力机制，使得两种特征获得局部和全局的互补。然后，在位姿推理计算阶段，考虑网络输出的关键点与物体中心点之间的距离，提出了一种基于距离量和距离约束相结合的关键点检测网络，实现了精确的位姿估计。本文算法在两个具有挑战性的6D物体位姿估计数据集上进行了测试，验证了所提方法的有效性。