人性化的人机交互吸引了越来越多的研究人员。眼动控制和手势控制这两种人机交互方式受到广泛的关注。针对这两种技术,本文提出基于球面交比的凝视点估计方法以及基于边信息的加窗动态时间规整手势识别方法(SIWDTW),并联合运用于智能会议系统中。本文的主要研究内容如下:传统基于虚拟平面的凝视点估计方法存在构建虚拟平面而产生计算四个虚拟投影点的误差,本文提出基于球面交比的凝视点估计方法克服误差。通过推导得到线束交比和球面交比的关系,然后采用回归分析的方法得到线束交比和球面交比的关系,在估计凝视点过程中即可根据这一关系得到显示平面的交比,进而估计凝视点坐标。实验表明该方法具有更好的精度,相对于传统方法的精度,本文提出方法的精度在x,y两个方向轴分别提高了20.8%和40.3%。本论文提出了一种基于边信息的加窗动态时间规整算法用于连续手势识别。传统的加窗动态时间规整算法(Windowed Dynamic Time Warping,WDTW)使用简单的阈值方法来判断手势结束点。这种方法容易受到噪声的影响。为了解决此问题,本文在进行手势结束点判断时,提出一种概率判断方法代替传统的阈值判断方法,并加入边信息以提高算法对于噪声的鲁棒性。该方法在PRMI实验室拍摄的手势数据库上实验,并与WDTW方法比较,结果为:WDTW算法的召回率73.8%,精确率91.9%,而SIWDTW方法的召回率为87.6%,精确率为89.9%。结果表明在WDTW方法中加入边信息有利于提高方法的鲁棒性。为了验证眼动和手势的联合交互,本文构建智能会议系统。将眼动跟踪技术和手势识别技术应用于智能会议系统,使用眼睛来控制鼠标的移动和手势来控制点击等操作,使演讲者在会议过程中更加方便、自然的控制计算机。结合眼动跟踪技术和手势识别技术,在演讲过程中可以滤除演讲者习惯动作等的影响,大大提高控制的鲁棒性。
暂无评论