基于深度学习的视觉语义SLAM技术研究

作     者：郑亚茹 

作者单位：东南大学 

学位级别：硕士

导师姓名：杨绿溪

授予年度：2019年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 080202[工学-机械电子工程] 08[工学] 0804[工学-仪器科学与技术] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：深度学习 语义SLAM 点云 语义分割 视觉里程计 语义数据关联 

摘      要：经典的即时定位与建图技术SLAM已经发展成熟,为了让机器人更智能地完成更高级别的任务,需要将SLAM与语义感知技术相结合。语义SLAM问题应运而生,深度学习的发展为语义SLAM提供了很好的条件。SLAM和语义之间是互补的关系,SLAM可以为语义感知引入空间几何信息,语义可以帮助SLAM对地图进行更高层次的理解。目前语义SLAM的开源方案还不是很多,在应用落地方面还处于起步阶段。本文针对语义SLAM的研究现状以及存在的问题,将深度神经网络应用到前端视觉里程计中,将物体级别的语义信息融合到SLAM建图中,以及构建语义SLAM系统以实现语义和SLAM的相互促进。本文的主要工作有:1.设计并实现一种基于深度局部特征DELF的视觉里程计。经典的SLAM系统大都采用传统手工特征,但是经典手工特征在光照变化、大型复杂场景下表现不佳。仿真验证了基于深度卷积神经网络的DELF特征能够有效提高视觉里程计的性能。2.提出一种基于RGB-D SLAM和点云语义分割的语义地图构建方法,利用三维平截头体进行语义感知。大多数语义建图方法采用稠密建图和二维语义分割技术,并将二维语义信息映射到三维模型中。本文建立稀疏地图,对关键帧首先利用二维目标检测方法获取目标候选区域,然后利用深度信息和位姿信息获取平截头体点云。直接对三维点云进行语义分割,设计贝叶斯更新方案融合多帧信息。利用该方法能有效建立语义地图,并仿真验证了SLAM辅助语义感知的有效性。3.提出一种基于DELF特征和感兴趣目标的语义SLAM方案,将语义信息作为后端非线性优化的因子。在特征匹配、重定位、闭环检测中使用统一的深度局部特征DELF特征。引入感兴趣目标的概念,辅助前端关键帧筛选以及后端非线性优化,将语义信息作为非线性优化的因子。在闭环检测环节引入了序列匹配的方法进行闭环验证。仿真验证了各个模块的引入能够有效提高系统的性能,且该方法性能优于多种经典方案。