检索结果-内蒙古大学图书馆

作者：崔树武北京交通大学

学位级别：硕士

传感器标定是机器视觉研究领域的关键问题之一。近年来,随着视觉测量技术的不断发展,对于高精度多传感器联合标定方法的需求日益增长。在工业实际应用中,由于测量对象和测量条件差异大,面向高精度测量的多传感器联合标定依然面临巨大挑... 详细信息

传感器标定是机器视觉研究领域的关键问题之一。近年来,随着视觉测量技术的不断发展,对于高精度多传感器联合标定方法的需求日益增长。在工业实际应用中,由于测量对象和测量条件差异大,面向高精度测量的多传感器联合标定依然面临巨大挑战。轮轨三维重建是指通过非接触视觉技术重建轮轨的三维动态姿态,而跨视场多传感器标定是影响轮轨三维重建精度的关键,对于实现高精度轮轨动态接触姿态检测具有重要意义。本文面向轮轨三维重建的应用需求,针对采集环境复杂及采集动态数据时载体振动等问题,对跨视场多传感器联合标定方法展开研究,包括跨视场多相机标定、惯性测量单元(Inertial Measurement Unit,IMU)联合几何先验的轮轨点云位姿动态标定等,设计并实现了一套轮轨跨视场多传感器联合标定应用系统。主要工作如下: (1)针对列车底部结构复杂、各采集单元跨视场、无交叠视野的问题,提出并设计实现了一种新型多自由度万向标靶,并构建了基于此标靶的跨视场多相机联合标定方法。该万向标靶可灵活调整左右两个标板的位姿,解决了跨视场多相机无交叠视野的问题。针对万向标靶左右标板距离和角度跨度大,标定精度低的问题,提出基于辅助标定板的高精度跨视场多标定板联合标定方法。进一步地,为了控制系统误差,提出基于轮轨结构先验的优化方法。研制的万向标靶和提出的标定方法在标准体和真实轮轨上进行了实验,实验结果表明,联合标定的角度误差在1°以内,距离误差在2mm以内,满足轮轨三维重建需求。 (2)针对采集过程中视觉单元随载体振动而发生位姿变化,影响后续参数测量精度的问题,提出一种IMU联合几何先验的轮轨点云位姿动态标定方法。该方法将IMU与视觉单元固定为一个整体,基于IMU的实时数据计算视觉单元的位姿变化,实现相机位姿动态标定。进一步地,针对IMU数据计算位移精度较低的问题,提出一种基于轮轨结构先验对重建点云进行位置标定的方法。在轮轨滚振台的现场实验结果表明,提出的方法可以大幅减少轮轨接触姿态参数测量中的异常值,在剧烈振动的条件下参数异常率小于5%,满足动态三维重建要求。 (3)针对轮轨三维重建的应用需求,本文构建了一套跨视场多传感器联合标定的系统,提出了硬件选型、设备布局和数据采集方案,研发了跨视场多传感器联合标定、轮轨动态位姿标定等软件模块,实现了真实轮轨运动过程中全局点云序列的高精度三维重建,通过铁路现场实验验证了该系统的有效性。

关键词：跨视场轮轨三维重建多传感器标定位姿计算

来源：评论

学校读者我要写书评

暂无评论

移动车辆的多传感器标定

移动车辆的多传感器标定

引用

作者：傅博浙江大学

学位级别：博士

对于移动车辆而言,多传感器信息融合是确保其在复杂多变环境下长期智能化自主运行的关键技术,其本质是将多种不同模态的传感器进行多层次、多空间的信息互补和优化组合处理,最终产生鲁棒、准确的状态估计。其中多传感器高精外参标定是... 详细信息

对于移动车辆而言,多传感器信息融合是确保其在复杂多变环境下长期智能化自主运行的关键技术,其本质是将多种不同模态的传感器进行多层次、多空间的信息互补和优化组合处理,最终产生鲁棒、准确的状态估计。其中多传感器高精外参标定是其前提和必备条件,外参是两个传感器之间的刚性变化矩阵,以此为基础可以将系统中的多传感器观测转换到同一个基准坐标系下来共同使用。而外部传感器之间的标定有传感器间视野共视的要求,无需共视的轨迹对齐标定方法难以完成高精度的标定;外部传感器与本体传感器之间的标定一方面要求本体传感器充分运动激励,而另一方面充分运动情况下外部传感器容易丢失视野,这两者之间的权衡给标定工作提出了挑战。本文研究了常用的外部传感器(视觉相机、激光雷达传感器)、以及本体传感器(惯性测量单元IMU)之间的多传感器标定问题,取得的创新成果如下:(1)针对现有相机-激光传感器外参标定要求传感器间有视野重合,而无需视野重合的轨迹对齐方法难以完成高精度标定的问题,提出了一套时空解耦的激光-相机任意相对位姿标定方法。通过匹配激光的全视角信息和相机移动产生的环视视野,观测到更多数量的标定目标从而产生更丰富的数据关联,有效提升了外参标定的精度。同时所提方法解除了传感器视野重合的安装限制,因为感知单元位置的变动扩展了相机视野,即使在初始位置传感器之间没有共视的情况下,激光传感器仍然可以与扩展后的相机视野有共同观测。此外,本文设计标定流程解耦时延分量,消除了两种传感器之间时间不同步的影响。在此基础上,本文还研究了标定系统的能观性,并提出了估计相机-激光外参的最小必要条件和标定板之间的摆放角度与距离对标定精度的影响,证明了传感器之间共享更大的视野有利于提高标定精度,同时为设计合理有效的标定流程提供了指导。在仿真试验上的验证结果显示所提的标定方法平移误差小于0.01m,旋转误差小于1°,优于其他比较的方法。(2)针对长焦相机和远距激光标定存在视野狭窄、数据稀疏、难以准确匹配、难以应用现有运动轨迹对齐标定方法的问题,提出了一种融合多误差约束的超远距离长焦窄视角相机-激光标定方法。通过将检测到的标定板的位姿作为优化变量进行约束,且为避免不准确的点到点数据关联引入错误的信息,所提方法仅需构建在远距离观测下更鲁棒的平面到平面的数据关联进行约束。经项目验证,所提高精外参标定方法服务于地铁高级驾驶辅助系统,实现了超远距离长焦窄视角的标定,解决了视觉小目标在激光点上的精准对应问题,对快速行驶的无人地铁监控系统的提前远距离障碍物探测有重要的意义,为移动车辆的安全运行提供了技术支持。(3)针对现有相机-IMU外参标定方法要求IMU充分激励,而IMU充分激励时视觉相机容易丢失标定板视野,导致不能准确估计运动、难以达到高精度标定的问题,提出了一种多相机辅助的高精度相机-IMU标定方法。通过在待标定相机-IMU系统中引入额外相机进行辅助组成多相机-IMU系统,实现全方位环境信息的采集,引入更多的环境观测和约束。虽然辅助相机提供的更多信息可以提高估计精度,但也会带来更多的待估计变量从而影响标定精度,为了探究引入辅助相机对标定的最终影响,本文以待估计外参的协方差下界为衡量标准,从理论上证明了在标定中使用更多的相机可以获得更优的标定精度。仿真试验结果显示所提方法标定精度能够达到毫米级,相比现有标定方法,误差降低70%。当IMU和相机安装位置较远时,误差可以减少90%以上。(4)针对多传感器融合的移动车辆智能化自主运行需求,以轨道交通地铁和无人探测特种移动车辆为研究对象,搭建了多传感器硬件平台,部署了多传感器感知系统,实现了上述研究标定算法的落地验证。其中针对现有无人地铁状态估计方法基于6自由度运动模型或平面运动模型,缺少基于轨道模型的建模的问题,提出了基于曲率约束的无人地铁实时里程估计。通过将轨道环境特有的曲率约束嵌入里程估计的约束项中,对运动模型进行了轨道约束。同时引入铁轨环境下更常见的线特征进行辅助,极大减少了在地铁环境下的漂移,提高了里程估计的精度。此外,针对无人探测特种移动车辆的感知需求,完成了多激光、多相机、IMU的传感器选型与排布,形成了一套多传感器信息融合状态估计系统示范。经测试,系统设计方案正确,硬件选型合理,配置齐全,技术路径可行,满足了项目的各项功能性指标要求。综上所述,本文面向移动车辆智能适应环境实现自主运行的应用需求,提出了激光-相机-IMU之间标定和信息融合的关键技术,实现了多传感器的毫米级标定,将所提算法在轨道交通地铁和无人探测特种移动车辆等多个项目中进行了测试并通过验收,为融合多个传感器的信息实现移动车辆在复杂多变环境下的长期自主运行提供了理论探索和实验结论。

关键词：自主移动多传感器标定多传感器融合智能轨道交通

来源：评论

学校读者我要写书评

暂无评论

基于群体智能的机器人多传感器标定算法研究

基于群体智能的机器人多传感器标定算法研究

引用

作者：李园园西北大学

学位级别：硕士

随着机器人在自动驾驶、航空航天、医疗服务、勘探勘测等领域的广泛应用,拥有单一或单类传感器已难以满足机器人在复杂非结构场景下的工作需求。利用多源、异类传感器对场景进行精确感知,保证机器人对场景理解的充分性和准确性已成为近... 详细信息

随着机器人在自动驾驶、航空航天、医疗服务、勘探勘测等领域的广泛应用,拥有单一或单类传感器已难以满足机器人在复杂非结构场景下的工作需求。利用多源、异类传感器对场景进行精确感知,保证机器人对场景理解的充分性和准确性已成为近年来机器人研究领域中的热点问题。传感器标定作为获取传感器精准数据及多传感器信息融合的基础,现有标定方法受测量噪声和外点影响较大,其标定精度和一致性有待提高。为此,针对机器人多传感器标定问题展开深入研究,对于提高机器人对环境的精确感知和理解具有重要的理论意义与现实价值。本文对三维激光扫描仪标定、摄像机与三维激光扫描仪外参数自标定问题进行了深入研究,利用入侵杂草优化(Invasive weed optimization,IWO)、基于成功历史参数差分进化(Success-history based parameter adaptation for differential evolution,SHADE)等群体智能优化算法进行标定参数求解,主要内容包括:(1)给出了一种基于伪Huber损失函数的三维激光扫描仪标定方法,用于估计三维激光扫描仪测量模型参数。在分析了扫描仪测量模型的基础上,采用空间球作为标定物,利用球表面点到球心距离等于半径的约束条件和伪Huber函数对于异常值不敏感的特性构造目标函数,并应用IWO与Levenberg-Marquardt(LM)组合算法进行优化求解。实验结果表明,所给方法能够有效抑制测量噪声和外点对标定结果的影响。(2)给出了一种基于SHADE算法的三维激光扫描仪标定方法。采用局部滤波加权平面拟合(Local filtering weighted plane fitting,LFWPF)、K最近邻(K-nearest neighbor,KNN)聚类以及阈值分割等策略有效去除标定数据中的大部分外点,利用去除外点后的标定数据,采用性能优良的SHADE算法进行优化求解。实验结果表明,所给方法能够有效去除外点,最小化测量噪声与外点的影响,提高了模型参数估计的准确性和一致性。(3)给出了一种基于SHADE算法的摄像机与三维激光扫描仪外参数自标定方法。利用二维图像与三维点云中可见激光线的对应关系,在无需特殊标定物的前提下构建目标函数,采用SHADE算法求解摄像机与三维激光扫描仪外参数。实验结果表明,所给方法外参数标定精度高。

关键词：多传感器标定机器人群体智能优化三维激光扫描仪

来源：评论

学校读者我要写书评

暂无评论

基于动态和静态环境对象观测一致性约束的移动机器人多传感器标定优化方法

引用

兵工学报 2017年第8期38卷 1630-1641页

作者：伍明张国良李琳琳付光远李承剑火箭军工程大学陕西西安710025

为了解决机器人未知环境导航过程中的多源、异构传感器空间一致性观测问题,提出了基于动态和静态环境对象观测一致性约束的摄像机与激光测距传感器联合标定优化方法。利用协方差交集方法实现运动目标图像平面方向状态融合,同时采用卡尔... 详细信息

为了解决机器人未知环境导航过程中的多源、异构传感器空间一致性观测问题,提出了基于动态和静态环境对象观测一致性约束的摄像机与激光测距传感器联合标定优化方法。利用协方差交集方法实现运动目标图像平面方向状态融合,同时采用卡尔曼滤波和概率数据关联滤波实现一对一和一对多信息源的静态角点特征图像平面方向状态融合;在此基础上,利用动态和静态物体融合前与融合后状态误差构造优化目标函数,并利用非线性优化方法实现标定参数优化。实验结果表明,该设计方法能够提高多传感器环境观测的一致性水平,验证了该方法的有效性。

关键词：控制科学与技术机器人同时定位与地图构建目标跟踪多传感器标定多传感器信息融合

来源：评论

学校读者我要写书评

暂无评论

机载测绘系统中多传感器融合三维地图构建

机载测绘系统中多传感器融合三维地图构建

引用

作者：许益元华南理工大学

学位级别：硕士

机载测绘系统是一种包含多种传感器和辅助设备的一体化高度集成的解决方案,基于无人飞行载物平台,能够高效地获取地面三维空间位置信息并进行高精度的三维地图构建,广泛地应用于城市数字地图、地形地貌测量、海岛海岸带测绘、电力巡检... 详细信息

机载测绘系统是一种包含多种传感器和辅助设备的一体化高度集成的解决方案,基于无人飞行载物平台,能够高效地获取地面三维空间位置信息并进行高精度的三维地图构建,广泛地应用于城市数字地图、地形地貌测量、海岛海岸带测绘、电力巡检等领域,具有重要的技术创新和应用前景。尽管机载测绘系统中的三维地图构建已经日渐成熟,但由于实际作业场景复杂,点云地图精度受多方面影响,因此融合多传感器数据提高系统测绘性能具有重要意义。本文基于小型电动无人直升机的机载测绘背景,设计了一套包含机载测绘仪、地面监控终端和地面后处理软件的机载测绘系统。为实现高精度测绘目标,本文设计并实现多传感器数据同步采集及授时的软硬件系统,并对融合多传感器数据的三维点云地图构建方法进行重点研究。本文主要工作内容如下: (1)基于实际机载测绘场景,设计并搭建机载测绘仪硬件系统与机械结构,通过FPGA(Field Programmable Gate Array)软件系统和Arm软件系统协同工作,实现多传感器数据的时间基准建立、高精度授时、同步采集、状态监控和实时存储功能。 (2)根据不同传感器坐标系间的变换关系,推导出三维点云地图构建与渲染模型,并根据传感器间外参标定原理进行标定实验,求解出不同传感器间的外参变换矩阵,有效地提高三维地图构建精度。 (3)设计一种基于混合固态激光雷达的激光惯性里程计,针对本文采用的激光雷达小视场角的特性和机载测绘应用场景,进行点云运动畸变去除、点云滤波、平面点特征提取、点云配准和局部点云地图构建,并提出适用于窄视场激光雷达的局部点云地图构建方法。通过实验验证本文所设计的激光惯性里程计中各个模块的有效性。 (4)基于因子图优化理论,构建IMU(Inertial Measurement Unit)预积分因子、激光惯性里程计因子、闭环因子和先验位姿因子,并加入因子图模型中进行多传感器融合优化运动位姿。通过手持与机载两种方式在综合复杂场景下进行实验,证明本文所设计的多传感器融合三维地图构建方法具备较高的精度和较强的鲁棒性。

关键词：机载测绘多传感器标定激光惯性里程计多传感器融合

来源：评论

学校读者我要写书评

暂无评论

基于共面圆的距离传感器与相机的相对位姿标定

引用

自动化学报 2020年第6期46卷 1154-1165页

作者：王硕祝海江李和平吴毅红北京化工大学信息科学与技术学院北京100029 中国科学院自动化研究所模式识别国家重点实验室北京100190

近年来,距离传感器与摄像机的组合系统标定在无人车环境感知中得到了广泛的研究与应用,其中基于平面特征的方法简单易行而被广泛采用.然而,目前多数方法基于点匹配进行,易错且鲁棒性较低.本文提出了一种基于共面圆的距离传感器与相机的... 详细信息

近年来,距离传感器与摄像机的组合系统标定在无人车环境感知中得到了广泛的研究与应用,其中基于平面特征的方法简单易行而被广泛采用.然而,目前多数方法基于点匹配进行,易错且鲁棒性较低.本文提出了一种基于共面圆的距离传感器与相机的组合系统相对位姿估计方法.该方法使用含有两个共面圆的标定板,可以获取相机与标定板间的位姿,以及距离传感器与标定板间的位姿.此外,移动标定板获取多组数据,根据计算得到两个共面圆的圆心在距离传感器和相机下的坐标,优化重投影误差与3D对应点之间的误差,得到距离传感器与相机之间的位姿关系.该方法不需要进行特征点的匹配,利用射影不变性来获取相机与三维距离传感器的位姿.仿真实验与真实数据实验结果表明,本方法对噪声有较强的鲁棒性,得到了精确的结果.

关键词：多传感器标定距离传感器与相机标定深度相机与相机标定激光与相机标定

来源：评论

学校读者我要写书评

暂无评论

基于多传感器融合的足式机器人实时鲁棒三维环境感知技术研究应用

基于多传感器融合的足式机器人实时鲁棒三维环境感知技术研究应用

引用

作者：黄开基华中科技大学

学位级别：硕士

三维感知技术是机器人感知周围环境中三维信息的关键技术,是足式机器人进行路径规划等高级决策的基础。为了应对特殊任务需求和复杂作业环境,要求三维感知系统能够进行高速、高精度、高鲁棒性的场景深度估计。因此,本文针对足式机器人... 详细信息

三维感知技术是机器人感知周围环境中三维信息的关键技术,是足式机器人进行路径规划等高级决策的基础。为了应对特殊任务需求和复杂作业环境,要求三维感知系统能够进行高速、高精度、高鲁棒性的场景深度估计。因此,本文针对足式机器人中的高速高精高鲁棒三维感知问题开展研究,设计了一套基于多传感器融合的三维感知方案,并提出了一种局部描述子算法。具体研究工作如下:(1)针对双目相机和ToF(Time of Flight)相机的配准问题,本文研究了一种基于2.5D图案的标定方法。该方法分别对双目和ToF相机进行内参数标定,使用ToF深度数据与RGB(Red Green Blue)图像进行外参数标定,实现了对双目和ToF数据的精确配准。该方法达到了0.21 pixel重投影误差,优于基于棋盘格张标定法。(2)围绕单一数据来源的深度估计算法无法在复杂场景精确测距的问题,本文提出了一种基于置信度的双目和ToF的融合算法CTSLF(Confidence-based ToF Stereo Local Fusion)。该算法首先对稀疏ToF数据进行双边引导上采样,然后对双目视觉数据和ToF数据分别估计置信度,最后通过局部一致性算法(Locally Consistent,LC)进行数据融合。该融合算法的平均误差达到1.05%,优于双目、ToF和经典LC方法。(3)针对足式机器人回环检测和Sf M(Structure from Motion)等任务中现有描述子鲁棒性不足的问题,本文提出了一种基于空间对抗干扰的动态概率加权描述子算法SAPNet。该算法通过生成具有几何空间变换的对抗样本,提高了网络对视角变换的鲁棒性;同时使用了基于动态概率加权的方法,使得网络更专注于决策边界的样本优化。本文提出的SAPNet在UBC的指标达到了0.78%,超过了当前其他描述子。在理论研究的基础上,本文研制了一套实时鲁棒三维感知装置,并将CTSLF算法使用CUDA进行实现,从而达到了1024×1024 pixels@120 fps的双目图像和62fps融合深度图输出。本文在多种任务进行了实验验证,该系统优于单一传感器和市面上常见的RGB-D(Red-Green-Blue-Depth)传感器方案,证明了该系统的有效性。

关键词：三维感知多传感器标定深度图融合局部描述子三维感知装置

来源：评论

学校读者我要写书评

暂无评论

基于激光雷达与相机数据融合的智能车辆障碍物检测研究

基于激光雷达与相机数据融合的智能车辆障碍物检测研究

引用

作者：柳浩修长安大学

学位级别：硕士

针对单传感器获取到的环境感知中障碍物信息不全面的问题,本文着重研究基于激光雷达与相机数据融合的智能车辆障碍物检测方法。本文依托于陕西省秦创原“科学家+工程师”队伍建设项目(2022KXJ-021)开展。本文的主要研究内容如下:在激光... 详细信息

针对单传感器获取到的环境感知中障碍物信息不全面的问题,本文着重研究基于激光雷达与相机数据融合的智能车辆障碍物检测方法。本文依托于陕西省秦创原“科学家+工程师”队伍建设项目(2022KXJ-021)开展。本文的主要研究内容如下: 在激光雷达与相机空间同步与时间同步方面,研究了相机标定获取相机内参与畸变参数的原理,并研究了激光雷达-相机联合标定获取传感器外参的原理,接着研究了多传感器时间同步方法及本论文所使用软同步方法的优点。为减少点云检测计算量,根据传感器标定原理,在激光点云感兴趣区域(ROI)提取方面,提出了一种基于相机视角下激光点云感兴趣区域的提取算法,去除与相机数据融合感知无用的点云数据。接下来研究了基于激光雷达、相机的单一传感器障碍物检测,在激光点云检测部分,构建了一套点云处理算法,首先通过有效区域提取对原始点云数据精简,为提升对不平路面的地面分割效果,利用提出的基于多平面地面拟合的地面分割方法去除地面点;之后对非地面点基于多段聚类半径的欧式距离聚类实现对障碍物点云簇聚类;最后计算出聚类后点云簇外接凸多边形,利用该外接凸多边形拟合得到能够表现出障碍物点云簇几何属性的有向包围框,实现基于激光雷达的障碍物检测算法。在图像检测部分,采用YOLO v5s视觉检测算法并对其原理进行了简要分析。在激光雷达与相机数据融合的障碍物检测方面,构建了以两传感器检测结果为输入的决策级融合感知算法,为统一检测结果坐标系,首先研究了利用联合标定原理对点云检测结果进行3D-2D转换的算法,在输入融合决策算法前,对点云三维检测框利用3D-2D投影将其转换到像素坐标系。针对传统融合算法特征匹配度较低的问题,对点云检测结果加入地面补偿,并在输入到融合检测算法前,利用二维检测框对投影结果进行拟合。最后利用检测框重合度对两传感器检测结果进行特征匹配,成功融合的障碍物得到其分类信息与空间位置信息的融合结果,实现智能车辆对环境的多维度感知。最后搭建实车实验平台,对以上完成的工作进行了实车实验,并对实验结果进行了分析。根据实车实验结果,在同一数据集下本文对车辆与行人目标融合感知的平均重合度分别提升了4.6%、8.9%,成功融合率分别提升了3.8%与4.9%,对车辆与行人目标最远融合感知距离分别提升了8m、1.8m。为了进一步验证融合感知结果,还基于融合感知结果设计了自动紧急制动系统并进行了实车实验。

关键词：多传感器标定点云处理视觉检测决策级融合感知

来源：评论

学校读者我要写书评

暂无评论

面向自动驾驶的多传感器三维环境感知系统关键技术研究

面向自动驾驶的多传感器三维环境感知系统关键技术研究

引用

作者：王佳荣中国科学院大学(中国科学院长春光学精密机械与物理研究所)

学位级别：博士

环境感知作为自动驾驶的关键环节,是行车安全性和智能性的保障。先进的三维环境感知系统能够及时地探测到车辆、行人、障碍物、道路等影响行驶安全性的外部事物,并准确地获取其三维位置、尺寸、行驶方向、几何形状、类别等信息,为后续... 详细信息

环境感知作为自动驾驶的关键环节,是行车安全性和智能性的保障。先进的三维环境感知系统能够及时地探测到车辆、行人、障碍物、道路等影响行驶安全性的外部事物,并准确地获取其三维位置、尺寸、行驶方向、几何形状、类别等信息,为后续的决策与控制环节提供依据。单一的检测手段或传感器很难对复杂场景进行鲁棒地感知,而利用多传感器优势互补,则能获取更加全面、兼容的行驶环境信息,从而满足自动驾驶系统对可靠性、精准度的需求。近年来,深度学习在信息处理方面取得了突破性进展,基于神经网络的识别、分割、检测算法性能突出,为多传感器三维环境感知系统的研究提供了新的方法和思路。基于此,论文采用三维激光雷达和可见光单目相机,结合深度神经网络,围绕多传感器标定、3D点云与RGB图像融合、三维目标检测、三维语义分割等关键技术,开展了理论分析、方法研究、技术实现、实测验证等工作,主要研究内容如下:(1)三维环境感知系统多传感器标定方法研究针对以三维激光雷达和单目RGB相机作为传感装置的行车环境感知系统,分析异构传感器独立标定、联合标定的原理及模型;设计系列标定方案,搭建实验系统;借助Matlab、Robot Operating System、Autoware等工具,解算出激光雷达与相机的内部、外部参数矩阵,统一坐标系并构建映射模型;完成3D点云与RGB图像的空间对齐、配准,并分析标定、配准对后续算法的指导作用。(2)基于多阶段互补融合的多传感器三维目标检测方法研究针对多模态数据融合粗糙、三维目标检测鲁棒性差的问题,提出了一种基于多阶段互补融合的三维目标检测算法。以激光雷达点云和相机RGB图像为输入,采用两阶段检测框架:(预处理)、初级预测、精细回归,顺序执行数据解析、特征提取、候选框推荐和三维边界框细化任务。创新性地采用多阶段融合策略(预融合、锚框融合、候选框融合)以最大限度地利用多模态数据的优势。其中,提出了RGB-Intensity表示形式,将反射强度编码到图像上,丰富光谱信息,增强输入表征。设计了元素注意力模块,以自适应地决定不同模态特征对网络的“贡献”,突出关键信息,抑制无用干扰。提出了跳跃融合法,支持中间特征层交互的同时引入侧连接,使融合结果兼具完整性和强语义。在权威评测数据集上的实验表明,该算法优于大部分同类型算法,可准确、近乎实时地预测目标的类别、三维位置、三维尺寸、运动方向等信息。(3)级联增强型三维小目标检测方法研究针对复杂城市场景下行人、骑自行车者等小目标检测精度低的难点,提出了一种级联增强型三维小目标检测算法。创新性地应用级联迭代策略,将经典的两阶段检测框架扩展至三阶段:区域建议子网、弱检测子网、强检测子网。利用前一级子网的输出训练下一级更高质量的检测子网,配合递增的训练交并比阈值,以改善过拟合和质量不适配问题,逐级渐进地“锁定”小目标、优化边界框。同时,借鉴图像分割方法,在特征提取网络中引入空洞卷积和多孔空间金字塔池化,以生成能够充分表征小目标的高分辨率、强语义特征图。该算法在KITTI基准上取得了先进的结果,在面对特征较少、外形缺失的目标时表现尤佳。(4)基于点云密度增强和多重注意力引导的三维目标分割和检测方法研究针对点云稀疏、非均匀,特征提取难,且无法表达相似形状物体差异和小、远目标轮廓等问题,提出了一种基于点云密度增强和多重注意力引导的分割、检测算法。其以点云为主要输入,可选择性地添加图像作为补充,由前景分割和候选框生成(Part-1)、点云密度增强(Part-2)、语义分割和边界框细化(Part-3)三部分组成。多任务共享大部分参数,互相监督和辅助。其中,创新性地设计了轻量型逐点注意力模块和通道注意力模块,以自适应地强化“骨架”和“可辨别性”信息,帮助特征提取网络生成更具代表性、针对性的表征。提出了一种新颖的点云密度增强组件,采用距离优先策略,结合K-means聚类算法,基于单目图像生成包含目标信息的伪点云,隐式地利用图像的颜色和纹理信息来平衡点云密度分布、丰富稀疏目标特征。在公开数据集上的大量实验表明,该算法先进、有效,近乎实时,具有出色的远距离、小目标检测性能和良好的可扩展性。

关键词：自动驾驶环境感知三维目标检测三维语义分割多传感器标定多模态数据融合注意力机制

来源：评论

学校读者我要写书评

暂无评论

面向夜视成像系统的多源信息融合方法研究

面向夜视成像系统的多源信息融合方法研究

引用

作者：孙北辰吉林大学

学位级别：硕士

夜视成像系统是一种为车辆夜间行驶提供安全可靠信息的辅助设备,能够在夜间或低光照条件下提供更好的视野和更安全的驾驶体验。使用汽车夜视系统可以帮助驾驶员更好地应对夜间驾驶中的挑战,如“看不清、看不全”等问题。然而,现在的车... 详细信息

夜视成像系统是一种为车辆夜间行驶提供安全可靠信息的辅助设备,能够在夜间或低光照条件下提供更好的视野和更安全的驾驶体验。使用汽车夜视系统可以帮助驾驶员更好地应对夜间驾驶中的挑战,如“看不清、看不全”等问题。然而,现在的车载夜视系统由单一传感器构成,出现鲁棒性差、信息缺少等问题。而多传感器系统可以解决这些问题,并且通过融合多模态图像可以使得成像结果更利于人眼感知。因此,对夜视成像系统进行深入研究具有重要意义。本文针对目前夜视系统存在的一系列问题,围绕夜视成像系统的关键技术,进行系统设计以及多模态信息融合增强等几个方面的研究,主要研究内容包括如下:1.针对夜视成像场景,首先提出夜视成像系统设计方案,对多传感器进行选型与配置,主要包括可见光相机、近红外相机以及激光雷达等设备。其次为解决多传感器工作电压不同的问题,设计基于LTC3780的Buck-Boost稳压模块,为多传感器提供能量输入。最后,搭建出一套多源夜视成像系统。2.根据相机成像模型,研究相机的标定过程。使用张氏标定法对相机进行自标定,再通过多模态相机与激光雷达之间的联合标定,获取整个系统的位姿。为解决夜视条件下,配准难度大、速度慢等问题,提出一种基于激光雷达的可见光与近红外相机配准方法。经实验验证,与特征点配准算法相比较,本文的算法在运算效率上提升6倍并且在图像质量上更具有优势。3.研究了一种边缘引导滤波算法。首先,使用色彩量化对图像颜色进行分层,再利用纹理边缘检测器提取纹理边缘,其核心思想是统计像素邻域值来区分结构和纹理。其次,在纹理边缘的引导下,构建比例图。然后在比例图的圆形区域内对输入图像进行平均滤波,得到粗滤波图像。最后,采用一种固定窗的像素选择滤波器对滤波结果进行优化。实验结果表明,与其他算法进行比较,本文的算法能够准确提取纹理信息,且在SSIM与PSNR上取得良好的结果,以此证明可以用于图像纹理信息提取。4.研究了一种基于纹理信息的可见光与近红外图像融合算法,实现夜视图像增强。首先,使用纹理滤波器分离多模态图像的纹理与结构。由于夜视图像中含有噪声,使用贝叶斯分类模型对含噪声的纹理图像特征分类,再通过改进的联合双边滤波算法滤除噪声。最后,在HSV颜色空间中,融合分离的纹理信息与结构信息。经数据集测试,本文的算法取得较高的VIFF、SSIM以及Q。在实地实验中,本文算法的NIQE值在4.0以下,具有良好的结果。在夜视情况下,不仅消除了噪声,而且图像的细节更加完整,更加利于人类视觉感知。本文搭建了一套夜视成像系统,为解决夜视图像配准效率低等问题,研究了一种基于激光雷达的可见光与近红外图像配准方法。针对夜视图像细节缺失、噪声干扰等问题,研究了一种基于纹理信息的可见光与近红外图像融合增强算法。其中,为提取图像结构分离纹理信息,使用一种边缘引导滤波算法。经实验分析验证,本文的融合增强算法取得了较好的结果,实现夜视图像增强的目的。该方法对于提高目前车载夜视成像水平具有重要意义。

关键词：夜视成像系统多传感器标定图像配准纹理滤波图像融合

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：