基于时空注意力网络的中国手语识别

作     者：罗元 李丹 张毅 LUO Yuan;LI Dan;ZHANG Yi

作者机构：重庆邮电大学光电工程学院重庆400065 重庆邮电大学信息无障碍与服务机器人工程技术研究中心重庆400065 

出 版 物：《半导体光电》 (Semiconductor Optoelectronics)

年 卷 期：2020年第41卷第3期

页      面：414-419页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(61801061) 重庆市教委科学技术研究项目(KJQN201800607) 

主　　题：手语识别 时空注意力 残差3D网络 卷积LSTM网络 

摘      要：手语识别广泛应用于聋哑人与正常人之间的交流中。针对手语识别任务中时空特征提取不充分而导致识别率低的问题,提出了一种新颖的基于时空注意力的手语识别模型。首先提出了基于残差3D卷积网络(Residual 3DConvolutional Neural Network,Res3DCNN)的空间注意力模块,用来自动关注空间中的显著区域;随后提出了基于卷积长短时记忆网络(Convolutional Long Short-Term Memory,ConvLSTM)的时间注意力模块,用来衡量视频帧的重要性。所提算法的关键在于在空间中关注显著区域,并且在时间上自动选择关键帧。最后,在CSL手语数据集上验证了算法的有效性。