随着人工智能、大数据与计算机视觉等技术的飞速发展,计算机视觉与人机协同技术在制造业中得到了越来越广泛的应用,企业也对智能制造环境下的人机协同提出了更高的要求。人机协同涉及的相关技术主要是通过人与计算机之间的信息获取、识别和转换与应用,实现对各类设备进行操作控制,这其中,手势操作由于其具有简单易懂、灵活方便且与常规操作方式类似的特性,逐渐成为了人机协同研究的重点领域之一,得到了越来越广泛的关注。传统依靠图像预处理结合机器学习进行手势识别的方法,由于图像采集过程易受到复杂背景或光照条件的影响,导致其准确率受到影响,鲁棒性不足,同时识别距离也由于各种条件限制不能够满足环保装备企业的要求;而另一些借助数据手套等外部设备的手势识别方法,准确度高,但设备成本较高,且使用不够灵活,往往制约了其在企业中进行应用部署。针对上述不足,本文以卷积神经网络为基础,提出了一种基于改进ssd(Single Shot Multi Box Detector,ssd)目标检测算法和OpenPose模型的手势识别算法,并将其应用到环保装备企业中工业机器人的仿真控制中,实现人机协同应用。本文的主要工作内容如下:首先将ssd的前置特征提取网络VGG-16替换为使用深度可分卷积的Mobilenet网络,实现提高检测速度,简化识别范围,集中到手部区域,通过K-means聚类分析预测框的宽高比,对预测框的宽高比进行优化,并适度扩大预测框范围,使得改进的ssd能够更好的识别手部位置;使用数据增强的方式扩充数据集,利用迁移学习方法减少改进ssd的训练时间;然后设置改进ssd算法作为前置网络来提取手部图像,将手部图像输入OpenPose手部关键点模型,构建手部关键点的信息;依据上述关键信息中关键点的空间位置设计手势分类算法进行手势分类与识别;设计了手势识别的八种常规手势,基于实验验证方法,对上述手势进行比较,与未改进的ssd算法相比,采用改进ssd算法的检测速度和训练时间都大幅度减小;与未改进前的OpenPose对比,实验结果表明该方法能够在复杂背景下,大幅度提高模型的识别距离,且能够有效增强模型的鲁棒性和准确度,而且该算法的使用条件较为灵活,能够满足远距离条件下人机协同的需求。其次通过构建人机协同虚拟仿真环境,并将算法应用到虚拟环境下的工业机器人人机协同操作应用中,对应用场景进行验证。应用系统框架包括数据采集分析系统、人机协同系统、机器人动作系统三个子功能模块。手势识别部分作为数据采集分析系统。选取上文八种手势中效果较好的五种手势设计了手势和工业机器人动作的对应关系,通过Webots实现机器人控制器和工业机器人生产环境的仿真并作为人机协同系统,机器人动作系统控制工业机器人的抓取、移动等操作。最后,在类似环保装备企业生产制造环境的实验室复杂背景环境下远距离操控协同的虚拟环境下的仿真验证,验证结果显示控制系统能准确识别手势动作,准确控制工业机器人进行协同操控,实现了论文预期目标。
暂无评论