图像恢复一直以来都是计算机视觉中基础且经典的问题,旨在减轻或消除图像退化现象。近年来,稀疏模型方法与深度学习方法被广泛应用于图像恢复研究中。其中基于卷积神经网络的深度学习方法较稀疏模型方法取得了更好的恢复性能,但其理论基础的欠缺一直是改进网络结构和优化模型所面临的问题。而将稀疏模型与神经网络相结合的方法为解决该问题提供了一个新视角,特别是多层卷积稀疏编码模型通过其追踪算法与卷积神经网络的前向传递建立了紧密的联系,使网络的改进可遵从算法的指导。因此,本文以多层卷积稀疏编码的学习迭代软阈值算法(ML-LISTA)为基础,将其与神经网络的学习机制相结合,研究荧光显微镜图像去噪和图像超分辨率重构等图像恢复问题,主要内容如下:1、对压缩感知、卷积神经网络和多层卷积稀疏编码理论及其多层学习迭代软阈值算法(ML-LISTA)进行了阐述,并展开多层卷积稀疏编码模型与卷积神经网络结合的理论分析。2、提出了基于多层卷积稀疏编码的荧光显微镜图像去噪网络(MCSC-net)。将获取多层卷积稀疏编码模型中最深层稀疏表示的ML-LISTA算法嵌入到卷积神经网络中,构建了一个用于真实荧光显微镜图像去噪的具有跳跃连接的端到端监督神经网络MCSC-net。该网络可以自然地解释为一种参数优化去噪算法,网络中的每一层都严格对应于展开的ML-LISTA算法处理的每一步,且ML-LISTA中的两个参数(迭代次数、滤波器个数)决定了网络中的深度与宽度,这为网络的改进带来了理论性的指导。同时在网络设计和训练中引入扩张卷积,在不需要增加额外参数的情况下,提取多尺度的上下文信息,进而提高网络去噪性能。通过所提方法与其他现有方法在真实荧光显微镜数据集上的对比实验表明:在所有噪声水平下,该方法的峰值信噪比(PSNR)较传统去噪方法提升了约1~3 d B;在噪声水平较大时,其PSNR值较深度学习方法(Dn CNN)提高了约0.1~0.4 d B。另外,在视觉表现上,该方法不仅能够减轻图像伪影,还能更好地恢复图像细节及边缘轮廓,在实际去噪应用中显示出很强的吸引力。3、提出了基于多层卷积稀疏编码的图像超分辨率重构网络(SRMCSC)。鉴于低分辨率图像与高分辨率图像之间的高度相似性且残差图具有显著的稀疏特性,在将基于多层卷积稀疏编码的ML-LISTA算法与卷积神经网络结合的同时引入残差学习,利用求解多层模型中最深层稀疏表示的ML-LISTA算法提取残差特征,再将其与输入图像结合重构高分辨率图像。这样不仅加快训练速度和收敛速度,而且与现有的多种优秀方法比较,所提方法在所有尺度因子下都有约0.2~1.1 d B的显著平均PSNR值增益。特别是与深度学习方法(SRCNN)相比,在数据集BSD100且尺度因子为2时,PSNR值大约提高了0.7d B。同时在视觉表现上,该方法能更好地恢复图像的细节纹理,验证了其在图像超分辨率重构上的有效性。4、总结全文主要工作,并对在多层卷积稀疏编码和卷积网络结合下的荧光显微镜图像去噪和超分辨率重构问题可进行的后续研究做出了分析及展望。
暂无评论