基于差异双分支编码器的多阶段图像融合方法

作     者：洪雨露 吴小俊 徐天阳 HONG Yulu;WU Xiaojun;XU Tianyang

作者机构：江南大学人工智能与计算机学院江苏省模式识别与计算智能工程实验室无锡214122 

出 版 物：《模式识别与人工智能》 (Pattern Recognition and Artificial Intelligence)

年 卷 期：2022年第35卷第7期

页      面：661-670页

核心收录：

学科分类：0711[理学-系统科学] 07[理学] 08[工学] 080401[工学-精密仪器及机械] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 

基　　金：国家自然科学基金项目(No.62020106012,U1836218,62106089) 教育部111项目(No.B12018)资助 

主　　题：图像融合 红外图像 可见光图像 卷积神经网络 

摘      要：在现有的红外和可见光图像融合方法中,融合图像中的细节信息丢失严重,视觉效果不佳.针对上述问题,文中提出基于差异双分支编码器的多阶段图像融合方法.通过两支不同结构的编码器提取多模态图像的特征,增强特征的多样性.设计多阶段的融合策略,实现精细化图像融合.首先,在差异双分支编码器中,对两个编码分支提取的差异性特征进行初级融合.然后,在融合阶段,对多模态图像的显著性特征进行中级融合.最后,使用远程横向连接将差异双分支编码器的浅层特征传送给解码器,同时指导融合过程和图像重建.对比实验表明,文中算法可增强融合图像的细节信息,并在视觉效果和客观评价上都较优.