模糊图像超分辨率复原由于其实用性和可靠性,被广泛应用于军事,医疗,教育,侦察等领域,原有的模糊图像超分辨率复原方法由于技术的局限性,已经逐渐不能满足当下实际情形中图像复原质量的需求,因此研究如何提高模糊图像超分辨率复原的质量具有重要的意义。本研究在以模糊核估计算法和生成对抗网络模型为基础的传统模糊图像超分辨率复原模型上有如下创新工作:本研究提出了新的模糊核估计算法,该算法主要包括多尺寸模糊核估计,单尺寸模糊核估计以及根据模糊图像对粗略模糊核精细化计算等三个部分,作为算法主体的多尺寸模糊核估计能够为整体模型提供最佳的预估模糊核。基于半监督学习的基本理论,本研究构建了由生成模块,判别模块和特征提取模块构成的生成对抗网络模型,并引入了生成误差,判别误差和特征提取误差,对于三种误差分别设置适当的权值,进行叠加和梯度求解后用于优化生成模块的节点参数,判别误差进行梯度求解后用于优化判别模块的节点参数。在本研究提出的模糊核估计算法和新构建的生成对抗网络模型基础上,本研究提出了基于半监督学习的GDSR(Generate and Deblurring Super-Resolution)模型。对生成对抗网络模型的生成模块、模糊核估计模块和模糊图像超分辨率复原模型进行了详细测试,并进行了半监督学习的GDSR模型的消融实验。测试和实验结果表明半监督学习的GDSR模型因更符合实际的图像退化过程,较传统图像超分辨率复原模型复原算法有更好的复原效果,同时在盲模糊核图像超分辨率复原的测试中较研究相同图像退化模型的图像超分辨率复原模型复原结果更好。本研究将训练数据选择为有标签图像,并将半监督学习的GDSR模型中承担下采样复原和去噪功能的生成对抗网络模型替换成基于全监督学习的SRRes Net模型,构建了基于全监督学习的GDSR模型并进行测试。测试结果表明在训练数据和数据标签充足的前提下,全监督学习的GDSR模型的图像复原结果优于半监督学习的GDSR模型。
大多数图像超分辨率(Super Resolution,SR)方法假定低分辨率(Low-Resolution,LR)图像是由高分辨率(High-Resolution,HR)图像通过固定的退化方式(如双三次插值下采样)得到的。但现实世界中的LR图像的退化过程多样,当LR图像的退化方式与SR模型假定的退化方式差异较大时,SR效果不佳。因此,图像盲超分辨率方法是图像超分辨率领域的研究趋势,而在盲超分辨率任务上达到更好的性能需要一个精确的模糊核估计方法。本文首先提出了一个基于傅里叶变换与卷积神经网络的模糊核估计方法(A Kernel Estimation Method Based on the Fourier Transform and Convolutional Neural Network,FTKCN)。该方法首先使用傅里叶变换由LR图像生成其频谱图,并利用卷积神经网络来提取频谱图中的模糊核信息,从而得到模糊核。FTKCN在训练时收敛较快,应用时可以较快速准确地估计模糊核,稳定性更佳。其次,本文将提出的模糊核估计方法FTKCN应用于ZSSR、MZSR、SRMD这三种主流的可插入模糊核先验的SR方法。FTKCN估计得到的模糊核用于产生训练数据或直接输入网络进行建模从而帮助图像超分辨率任务,实验表明FTKCN有助于提升这三种SR方法在由各种退化造成的LR图像上的超分辨率性能。最后,本文在SRMD基础上,引入稠密连接结构,提出了一个基于稠密连接与多重退化的图像超分辨率方法(A Super Resolution Network with Dense Blocks and Multi-Degradations,DenseMD)。DenseMD充分地利用退化信息,只需要较少的参数量,在图像盲超分辨率任务中获得更佳的性能。此外,将DenseMD与FTKCN结合,能够进一步提升图像盲超分辨率的性能。
暂无评论