基于图像的三维重建技术是近年来计算机视觉领域中的研究热点,因为其获取数据容易,重建模型成本低,所以被广泛运用到大范围场景三维重建应用中。多视图立体匹配是三维重建流程中较为关键的步骤,得益于多年的研究成果积累,现有的传统立体匹配方法在不同的公开数据集上均能获得较好的重建结果,但随着重建场景的扩大以及场景复杂度的提升,多视图立体匹配面临新的挑战:处理弱纹理等特殊数据时,图像一致性不可靠,因此重建结果通常较差;重建物体的边缘精度不足,使用航拍数据进行立体匹配则进一步加重了该问题;图像集大小增加后,对参考视图选择合适的邻近视图更为困难。为提升多视图立体匹配方法处理大范围场景数据的能力,主要进行了如下四个方面的研究工作:针对深度学习技术在多视图立体匹配领域上的应用,提出置信度估计神经网络,使用深度学习技术对传统方法的输出深度图进行质量评估。不同于其他基于深度学习的立体匹配方法,置信度估计网络无需构建代价立方体,因此极大降低对内存空间的需求,从而能适用于大场景三维重建应用。为提高网络的泛化能力,将深度信息转换为逆深度并进行归一化,同时使用平均基线距离将深度转换为视差,并在视差空间内基于局部平面扫描思想计算当前匹配代价的可靠程度。为解决样本不平衡问题,提出使用带焦点的损失函数对网络进行训练。使用网络估计的置信度对深度图进行过滤处理,在DTU数据集上的实验结果表明,深度图在弱纹理区域以及物体边缘的准确度得到提升。针对深度图融合步骤,提出深度学习与传统方法相结合的策略,将深度学习获取的置信度信息嵌入到传统方法的融合步骤中,以提升三维点云的精确度。基于投影关系,获取三维点在不同深度图上的置信度,并以此估计三维点的置信度。为进一步提升鲁棒性,综合考虑传统重建以及深度学习结果,设计带几何一致性权重的融合点置信度评估方法。过滤低置信度的融合点以提升三维点云的精确度,同时保留点云中的细节,以保证重建的完整度。使用DTU数据集进行置信度网络训练,在DTU、Tanks and Temples、COLMAP以及航拍数据集上进行方法评测,结果表明,在不损失完整度的前提下,提出的融合策略能显著提升传统方法在弱纹理区域以及物体边缘的精度,实验结果同时证明了置信度估计网络有较好的泛化能力。针对大场景应用中的邻近视图选择,设计网格引导的邻近视图选择策略。传统方法中选择邻近视图的策略均基于稀疏重建获取的稀疏点,因此在选择过程中会忽视稀疏点分布较少的区域。为解决该问题,降采样图像进行立体匹配并使用基于可视性的构网策略获取场景的粗糙网格模型,考虑邻近视图在参考视图上的网格投影面积进行邻近视图选择。相比传统方式,该方法保证图像之间的重叠度,同时不依赖于稀疏点的分布。在ETH3D以及航拍数据集上的实验结果表明,该选择策略能保证参考视图获取更为完整的深度估计。针对深度图估计步骤,提出一种网格引导的金字塔结构,结合深度传播方法,以进一步提升传统立体匹配方法处理弱纹理数据的能力。使用最低层立体匹配结果生成的点云构建网格模型,并使用该网格补全初始深度图,补全后的深度图作为初值引导更高层的立体匹配以提升立体匹配的完整度,同时加快立体匹配方法的收敛速度。为消除错误网格面片带来的负面引导效果,设计大感受野的神经网络结构,对补全后的深度图进行置信度评估以删除其中错误的深度值。同时基于该金字塔结构,提出弱纹理区域检测策略,在弱纹理区域提高几何一致性的权重以保证重建结果的完整度,同时在强纹理区域降低几何一致性权重,以保证重建结果的精度。实验结果表明,提出的策略可以显著提升重建结果的完整度。
暂无评论