结合时序网络和金字塔融合的稳像修复方法

作     者：刘清 李世超 王文杉 师文喜 成科扬 LIU Qing;LI Shi-chao;WANG Wen-shan;SHI Wen-xi;CHENG Ke-yang

作者机构：江苏大学计算机科学与通信工程学院江苏镇江212013 江苏大学网络空间安全研究院江苏镇江212013 江苏省大数据泛在感知与智能农业应用工程研究中心江苏镇江212013 中国电子科学研究院社会安全风险感知与防控大数据应用国家工程实验室北京100041 新疆联海创智信息科技有限公司新疆乌鲁木齐830001 

出 版 物：《图学学报》 (Journal of Graphics)

年 卷 期：2021年第42卷第1期

页      面：65-70页

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 081104[工学-模式识别与智能系统] 08[工学] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 

基　　金：国家自然科学基金项目(61972183,61672268) 社会安全风险感知与防控大数据应用国家工程实验室主任基金项目(201807) 

主　　题：视频稳像 视频图像修复 时序网络 金字塔融合 最佳缝合线 

摘      要：针对视频稳像领域内视频图像缺损填充效果不佳,严重影响视觉效果,且导致稳像处理后的视频不稳的黑边填充问题,提出了一种基于时序网络预测和金字塔融合的图像修复方法。首先结合预裁剪机制自适应判断当前帧是否需修复;然后将截止至当前时刻的所有帧送入卷积神经网络(CNN)和门控循环单元(GRU)的模型进行待填充部分的预测;随后采用改进的加权最佳缝合线进行拼接并在高斯拉普拉斯金字塔中进行图像融合重构;最终在重构完成后裁剪尺寸。实验结果表明,该方法平均峰值信噪比(PSNR)相较于对比算法提高了2~5dB,平均结构相似度(SSIM)较对比算法提升了约2%~7%。该方法修复后的视频缺损填充自然,视觉效果较为稳定,即使在黑边面积较大时也有良好的修复效果,可用于多种摄像平台及不同场景下。