基于人体姿态估计的京剧虚拟人物互动系统

作     者：张宜春 黄一鸣 潘达 ZHANG Yichun;HUANG Yiming;PAN Da

作者机构：中国艺术科技研究所北京100007 中国传媒大学媒体融合与传播国家重点实验室北京100024 

出 版 物：《中国传媒大学学报（自然科学版）》 (Journal of Communication University of China：Science and Technology)

年 卷 期：2022年第29卷第6期

页      面：43-49页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：姿态估计 动作捕捉 单目相机 Unity3D 京剧 

摘      要：提出了采用基于计算机视觉的人体动作捕捉技术构建京剧虚拟人物互动系统,首先通过单目相机捕捉京剧表演者的运动画面,经由深度学习姿态估计模型预测24个人体骨骼关键点,再经由滤波处理模块对这些关键点进行平滑操作得到准确的运动信息,最后导入游戏开发引擎Unity3D中,通过将真实人体运动结点和虚拟人物关节点进行绑定,实现驱动虚拟人物仿照真人动作进行京剧表演的舞台效果。实验表明,本互动系统可以实时且准确地估计人体姿态,并能够实现与虚拟人物较好的互动体验感。