基于时空注意力深度网络的视角无关性骨架行为识别

作     者：丰艳 李鸽 原春锋 王传旭 Feng Yan;Li Ge;Yuan Chunfeng;Wang Chuanxu

作者机构：青岛科技大学信息科学技术学院青岛266061 中国科学院自动化研究所模式识别国家重点实验室北京100190 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2018年第30卷第12期

页      面：2271-2277页

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金面上项目(61472196 61672305 11771188) 山东省自然科学基金(ZR2015FM012) 

主　　题：深度网络 时空注意力 角度无关性 骨架行为识别 

摘      要：针对单视角骨架数据包含噪声且其特征完全依赖于该视角的问题,提出一种基于时空注意力的深度网络模型进行角度无关性骨架行为识别,该模型主要由特定视角子网和公共子网串联组成.首先通过特定视角子网学习每个视角序列的判别性特征,同时利用空域注意力和时域注意力模块分别重点关注关键关节点和关键帧;然后特定视角子网的输出特征作为公共子网的输入,通过公共子网进一步学习角度无关性特征;最后输出行为分类结果.为了保证网络的有效训练,提出一个正则化交叉熵损失函数来推动网络多模块共同学习.实验结果表明,该模型在目前最大的骨架数据集NTU数据集上识别准确率为76.3%.