三维人脸重建及识别是计算机视觉领域的重要研究方向,近年来已取得诸多成果,在虚拟现实、动画、身份验证等领域具有广阔的应用前景。由于深度卷积神经网络在图像分类等领域取得重大成绩,基于深度学习技术研究三维人脸重建及识别任务成为热点。本文对三维人脸重建及识别进行深入研究,致力于提高人脸重建精度及识别准确率等。主要工作如下:第一,针对位置图回归网络(PRNet)较薄弱的网络结构,提出一种结合多尺度融合特征和残差注意力机制的三维人脸重建算法。该算法以改进的Hourglass Net为基础结构,结合密集连接模式和空洞卷积构造密集连接的多尺度特征融合模块,强化网络对图像的特征提取能力,使编码器获得多尺度融合特征。在解码器模块引入残差注意力机制,强化网络对特征的筛选能力,重视关键特征并抑制干扰。实验结果表明,该算法以更轻量级的网络取得更高的重建精度,并对姿态、遮挡等变化具有更强的鲁棒性。第二,提出一种基于知识蒸馏的三维人脸重建算法。以上述高精度人脸重建网络为大型教师网络,并基于Shuffle Net V2设计轻量级学生网络。针对普通知识蒸馏算法在人脸重建任务中效果不佳的问题,提出一种专为三维人脸重建任务设计的新型知识蒸馏算法。该算法从网络的输出、网络的中间特征以及网络生成数据的分布三个角度,全面传递教师网络的“知识”。实验结果表明,在该蒸馏算法的辅助训练下,轻量级网络以更低的参数量和计算量,获得近似大型教师网络的性能。第三,提出一种基于三维重建的人脸识别算法,利用重建人脸的三维信息结合二维人脸图像构造多模态融合特征,以识别人脸。针对卷积网络难以处理三维数据的问题,采用上述高精度人脸重建网络获得UV位置图形式的三维人脸数据。UV位置图以图像形式完整保留人脸三维信息。为获得更具辨识性的特征,在UV位置图基础上进一步计算得到法线图。结合空间注意力机制和通道注意力机制,设计多模态数据融合模块,增强网络对不同模态数据的处理能力,获得更优质的融合数据输入识别网络。实验结果表明,该算法具有更高的准确率,并对姿态等变化具有更强的鲁棒性。
暂无评论