一种移动机器人视听觉融合感知与导航方法

专利申请号：CN202211614647.4

公 开 号：CN116380061A

发 明 人：李嘉茂 朱冬晨 刘衍青 王文浩 王磊 张晓林 

代 理 人：钱文斌

代理机构：上海泰博知识产权代理有限公司

专利类型：发明专利

申 请 日：20230704

公 开 日：20221215

专利主分类号：G01C21/20

关 键 词：视觉传感器系统 听觉传感器 移动机器人 目标对象 视频序列 机器人导航系统 多尺度特征 注意力机制 参数标定 参数构建 记忆网络 交互对象 手势识别 行为识别 栅格地图 融合 端到端 显著性 标定 卷积 感知 听觉 手势 三维 视频 智能 跟踪 

摘      要：本发明涉及一种移动机器人视听觉融合感知与导航方法，包括以下步骤：对移动机器人的视觉传感器系统与听觉传感器系统进行参数标定；利用视觉传感器系统和标定的参数构建导航栅格地图；使用视觉传感器系统获取交互对象的视频序列，并基于三维卷积和长短期记忆网络的手势识别方法，利用注意力机制和多尺度特征融合，实现以所述视频序列为输入的端到端手势行为识别；从所述视频序列中提取出感兴趣的目标对象并进行跟踪，并利用听觉传感器系统和视觉传感器系统得到具有显著性的目标对象的序列。本发明能够以更加智能和自然的方式与机器人导航系统进行交互。