运动恢复结构(Structure from Motion,sfm)利用二维影像和相机内参恢复影像位姿以及三维空间点云,由于其方便灵活,成本低廉并且可以得到较高精度的重建结果,经常被用于文物重建、增强现实、智慧城市建设等领域。随着消费级相机与智能手...
详细信息
运动恢复结构(Structure from Motion,sfm)利用二维影像和相机内参恢复影像位姿以及三维空间点云,由于其方便灵活,成本低廉并且可以得到较高精度的重建结果,经常被用于文物重建、增强现实、智慧城市建设等领域。随着消费级相机与智能手机的普及,影像获取成本也越来越低,利用消费级相机拍摄的影像进行三维重建受到人们青睐,如利用无人机或地面采集车搭载消费级相机进行测图。作为影像数据的主要来源,相机有两种常见的曝光方式,分别为全局快门曝光和卷帘快门曝光。由于卷帘快门曝光具有成本低、耗能低的优点,大多数消费级相机都采用该曝光机制,但是卷帘快门逐行曝光的特点导致其在进行移动测量时,影像上会产生果冻效应。当前大多数sfm算法假设影像通过全局快门获取,不考虑果冻效应带来的影像畸变,直接利用这些算法处理卷帘快门影像时,很难得到高精度结果。针对以上问题,本文对卷帘快门sfm算法进行深入研究,构建了卷帘快门sfm框架,并针对其在某些临界条件下发生的退化现象进行分析,提出利用多镜头组合式相机采集的影像可以避免退化,并对相关算法进行研究。首先,本文介绍了三类卷帘快门成像模型,分别是匀速运动模型、匀加速运动模型和插值模型,分别对三类成像模型进行参数化表达,并比较它们成像特点。然后本文采用匀速运动模型中的线性模型来构建卷帘快门sfm框架,利用影像首行的位姿以及影像曝光瞬间相机的运动(线速度与角速度)描述卷帘快门影像,并分别设计卷帘快门初始化重建、卷帘快门绝对位姿估计、卷帘快门三角化以及卷帘快门光束法平差等关键步骤的算法。接着本文分析了卷帘快门sfm退化现象及原因,利用卷帘快门sfm处理读出方向平行的影像数据集时,在光束法平差阶段会发生退化,导致整个场景坍缩在同一个平面上,得到错误重建结果,本文从重投影误差的角度来分析退化原因,并通过实验进行验证。最后本文提出利用多镜头组合式相机采集的数据集进行卷帘快门sfm,可以避免退化现象,并利用多镜头之间的刚体约束对光束法平差进行改进,进一步优化sfm结果。实验结果表明,本文提出的基于卷帘快门的多镜头组合式相机sfm算法能够减弱果冻效应的影响,得到精度更高的影像位姿和三维点云。
全景相机由于具有360°全视角成像的特点,是计算机视觉与摄影测量领域中主要的视觉传感器之一,常用于移动测量车,自动驾驶汽车和火星探测机器人等。随着影像三维重建技术日趋完善,尤其运动恢复结构(Structure From Motion,sfm)算法...
详细信息
全景相机由于具有360°全视角成像的特点,是计算机视觉与摄影测量领域中主要的视觉传感器之一,常用于移动测量车,自动驾驶汽车和火星探测机器人等。随着影像三维重建技术日趋完善,尤其运动恢复结构(Structure From Motion,sfm)算法能够准确、稳定和快速地从影像恢复目标场景的三维结构。全景影像三维重建效率高且连续性好,适用于大规模场景的重建。目前全景相机影像位姿的采集主要是通过外置采集平台GPS/IMU获取,或通过基于球形全景相机模型的运动恢复结构算法得到,后者虽然不受GPS信号影响且重建效果更好,但是考虑到多镜头组合式全景相机其特殊的成像方式,球形全景在定向中存在着较难控制的拼接误差、融合误差等,量测精度降低,较难满足精确三维场景重建的要求。本文主要针对多镜头组合式全景相机的三维重建策略进行较深入研究,并提出一种sfm算法实现更高效和准确的位姿估计和模型重构。为了避免全景影像拼接中存在的配准和融合误差等,本文采用严格的非球形成像模型,直接通过所有单镜头的像方与物方关系来构建拓展共线方程,更准确地表达真实严密的场景空间信息。基于此成像模型,直接输入未拼接的全景影像,然后按照先单镜头后多镜头顺序改进sfm算法。首先,在单镜头成像情况下,针对如何更高效地完成位姿解算,本文提出了一种改进的增量式sfm算法,通过真实数据实验证明改进算法具有一定的高效性和稳定性。然后,本文基于单镜头sfm算法结果进行多镜头分析,通过镜头之间刚体不变的相对位姿,提出一种相机标定方法恢复各单镜头相机运动和场景结构之间的几何关联,接着再通过后方交会实现更多单镜头sfm算法丢失的影像位姿估计,实验结果表明,该多镜头相机的位姿估计方法能成功实现所有影像定向,并且恢复较好的三维结构。最后,关于sfm算法的优化方法,本文通过多镜头组合式全景相机的拓展严格成像模型,对光束法平差(Bundle Adjustment,BA)进行改进,减少部分未知参数,重新推导重投影误差方程进行最小二乘优化。实验结果表明,对比传统的光束法平差,本文优化方法在迭代计算时能更快收敛,且结果正确。另外,为了对影像重建优化结果进行真实物方精度分析,本文在BA模型中引入控制点约束,通过检查点的点位偏差表明,优化后结果可达厘米级。
暂无评论