单幅图像去雨是一项重要的计算机视觉任务。雨天的恶劣条件会对图像质量产生负面影响,当雨线较大,分布较密时,雨条纹会遮挡住背景的细节信息,使得图像中的目标物体变得模糊、失真、缺失等,降低了图像的视觉效果和可读性,影响了图像分析和计算机视觉应用的性能。同时,真实雨图没有对应的标签进行特征学习,需要人工制作大量带有标签的合成雨图,费时费力。针对这些问题,论文提出一种深度学习的单幅图像去雨模型,网络通过学习大量的合成雨图和真实雨图,自动从中提取背景图像特征并去除有雨分量特征的干扰,得到清晰的去雨图像。单幅图像去雨方法能提高图像的质量和视觉效果,提升了视频监控、遥感成像、行人重识别和图像分割等各种户外视觉系统对环境的正确理解和决策。本文围绕深度学习的单幅图像去雨问题进行深入研究和分析,主要内容如下:
(1)本文提出一种基于双阶段特征解耦网络的单幅图像去雨方法,用于解决现有的单幅图像去雨方法仍然无法有效平衡背景图像细节恢复与有雨分量去除的问题。该模型采用渐进式的学习方式从粗到细分阶段进行单幅图像去雨。首先构建压缩激励残差模块,实现背景图像与有雨分量的初步分离;然后设计全局特征融合模块,在该模块中特别引入特征解耦模块分离有雨分量和背景图像的特征,实现细粒度的图像去雨;同时利用重构损失、结构相似损失、边缘感知损失和纹理一致性损失构成的复合损失函数训练网络,实现高质量的无雨图像重构。对比实验表明,在Test100合成雨图数据集上所提方法峰值信噪比为25.57 d B,结构相似性的值为0.89;在100张真实雨图上所提方法的自然图像质量评估器的值为3.53,无参考图像空间质量评估器的值为20.16;并在去雨后的Refine Net目标分割任务中平均交并比为29.41%,平均像素精度为70.06%。视觉效果上,所提方法能保留更多的背景图像特征,有效辅助下游的目标分割任务的开展。
(2)本文提出一种基于高斯过程的半监督学习单幅图像去雨方法,用于解决真实场景下去雨方法泛化性能弱的问题。该方法包括共享的编解码、监督损失与非监督损失三个部分。首先,利用共享的编码模块学习合成雨图和真实雨图的特征;然后,基于学习的合成雨图特征分布,采用高斯过程构建潜在空间,对真实雨图特征进行潜在空间中的投影,合成真实雨图的高斯分布,并将高斯分布的均值作为真实雨图的伪标签;更进一步地,在监督学习中利用重构损失、感知损失和SSIM损失约束去雨后的图像和Ground Truth之间的像素相似度、特征相似度和结构相似度;最后,在无监督学习过程,为促使真实雨图特征与合成的真实雨图特征空间分布尽可能接近,最小化真实雨图特征与最近邻合成雨图特征之间的距离,并同时最大化真实雨图特征与非近邻合成雨图特征之间的距离。实验结果表明,在Test100合成雨图数据集上峰值信噪比为26.11 d B,结构相似性的值为0.89;在100张真实雨图上所提方法的自然图像质量评估器的值为3.42,无参考图像空间质量评估器的值为19.89;在去雨后的Refine Net目标分割任务中平均交并比为30.14%,平均像素精度为71.67%。视觉效果上,所提方法去雨后的背景效果更为清晰,加强了真实场景的去雨能力,降低了制作成对的合成雨图所带来的人工开销。
暂无评论