图像修复技术旨在通过特定算法修复存在遮挡或缺失区域的不完整图像,重建缺失部分的数据信息,最终重现完整图像。图像修复技术因其在图像编辑、文物保护、侦缉破案等领域的潜在应用价值而备受关注。基于学习的人脸图像修复方法在人脸图像中提取深层特征时存在丢失上下文语义信息的问题,这一问题严重制约了修复网络对结构和纹理细节进行深度还原的能力,导致生成的人脸图像缺乏语义连贯性和视觉清晰度。特别是在图像大比例缺损或分辨率高的条件下,合成的图像会出现图像纹理结构不协调及上下文语义信息不一致的情况,比如眼睛和眉毛等部位。因此,本文针对上述问题,提出了两种基于深度学习的人脸图像修复方法,主要创新工作如下:
（1）提出了一种基于高效注意力模块的三阶段网络人脸图像修复方法,该方法能加快模型的收敛速度及降低计算成本。其中粗修复网络对残损图像进行初步修复后局部修复网络对残损图像局部进行细致的修复;基于归一化注意力模块的全局细化修复网络对残损图像整体进行修复,以增加图像的语义连贯性及纹理结构的协调性。所提出的方法在Celeb A-HQ数据集上进行实验,结果表明在掩码比例为20%-30%时PSNR达到30.35 d B,SSIM达到0.9269,FID为2.55,能够合成全局和局部一致的人脸图像。
（2）提出了一种基于纹理和结构交互的人脸图像修复方法。具体为:提出了一种融合高效归一化注意力机制的生成器,可以更有效地提取人脸图像中的深层特征,并在多个尺度上更好地聚合低级和高级特征。为增强生成图像的一致性,提出了一种具有残差主路径转换的双级门控特征融合模块来进一步融合解码后的纹理和结构信息,并设计了一种增强的上下文特征聚合块,其中改进的提示生成块使提示参数在多尺度上进行特征之间交互,指导修复网络动态调整,以生成现实的和可信的人脸图像。在Celeb A-HQ和LFW数据集上的实验结果表明所提出的方法在PSNR、SSIM、L1、FID指标上分别达到了37.74d B,0.9830,0.24%,1.489和39.19 d B,0.9877,0.21%,3.555,大量的定性和定量实验结果表明所提出方法能有效地恢复残损的人脸结构和纹理信息。
暂无评论