基于特征分解与深层特征映射网络的古代壁画数字修复研究

作     者：朱信耿 

作者单位：云南大学 

学位级别：硕士

导师姓名：余映

授予年度：2023年

学科分类：1304[艺术学-美术学] 0601[历史学-考古学] 13[艺术学] 060107[历史学-文化遗产与博物馆] 06[历史学] 060109[历史学-专门考古] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：图像修复，数字修复，三域映射，深层特征映射网络，多尺度 

摘      要：图像修复是图像处理中的经典问题，是指对于图像和视频进行修复，以恢复其中缺失的部分，其期望达到重建区域与图像已知区域达到语义结构合理、纹理细节清晰的目标。图像修复技术在虚拟现实、视频特效、生物医学等领域都具有广泛的应用价值。壁画数字修复是图像修复领域一个极为特殊又极具挑战性的问题，壁画由于其自身的特点，颜色、种类、纹理细节等都有一定的规律，而这类特定问题的样本数据量一般更小。虽然深度学习技术应用于以壁画修复为代表的数字化遗产保护事业取得了一系列突破性的成果，但是仍然存在以下问题：（1）数据集不易获取；（2）与通过监督学习解决的修复任务不同，真实壁画中的破损形式是复杂的，例如裂纹、脱落和褪色，所以并不存在真正意义上的 Ground Truth；（3）基于监督学习的深度神经网络不适用于真实的多重壁画破损,使得网络无法推广；（4）壁画往往历经百年甚至更久，褪色、变色问题严重。深度神经网络输出结果是标签图在非掩膜区域和生成图在对应掩膜区域的相加组合，非掩膜对应区域没有任何变化，导致修复图像缺乏美感；（5）壁画颜色的修复目前依赖于对比学习或风格迁移，但是颜色修复仍具有较强的主观性。针对上述问题，本文展开了相应研究，主要内容研究如下： 在三域映射修复方法的基础上，提出了基于分解网络和深层特征映射网络的壁画修复模型。具体来说，该算法训练两个变分自动编码器，分别将真实壁画图像和无损壁画图像映射到两个深层特征空间，然后利用成对图像数据学习这两个深层特征空间之间的转换，这种转换能够很好地推广到真实壁画图像。实验证明该算法对壁面存在的裂纹、划痕等破损形式的修复效果优于对比算法，并且在视觉质量上有一定的提升。 提出了双池化空间信息融合网络，并将其移植到三域映射修复模型的中间映射网络当中。该模块从多尺度特征表征的角度出发，引入多个带有不同感受野的并行扩张卷积核分支来学习不同尺度下的特征图权重，不仅结合了多分支结构的思想，从语义信息中筛选出重要的特征，而且也将浅层特征和深层特征融合，减少图像未受损部分的特征信息丢失。该模型能够在深层特征映射过程中减少信息丢失，最大池化和平均池化相结合，优势互补，能够为深层特征映射提供更加合理的语义指导和更准确的像素信息，对微小破损能生成具有高质量的修复结果。