基于条件可逆神经网络的多模态医学图像融合

作     者：张倩楠 王蒙 ZHANG Qiannan;WANG Meng

作者机构：昆明理工大学信息工程与自动化学院昆明650500 

出 版 物：《计算机测量与控制》 (Computer Measurement &Control)

年 卷 期：2025年第33卷第1期

页      面：147-154,162页

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：中国国家自然科学基金(62062048) 云南省科技计划(202201AT070113) 

主　　题：图像融合 多模态医学图像 条件可逆神经网络 深度生成网络 多分辨率分析 

摘      要：为减少图像融合在深层网络前馈过程中的空间细节损耗,提出一种基于条件可逆神经网络(CINN)的医学图像融合方法;通过应用可逆的分析-综合架构实现空间细节与关键语义互补的多模态融合;在前向分析阶段,将多分辨率特征嵌入CINN作为条件向量实现多模态表示学习;在反向综合阶段,使用一个基于小波的条件融合(WCF)网络引导CINN完成反向重构;在特征融合中应用相关激活模板(RAM),聚焦多模态医学图像中的关键结构区域与纹理细节一致性信息;构造前向分析-反向重构联合损失高效地优化网络参数,以获得高质量的融合图像;实验测试了CT-MRI及MRI-PET场景,与现有融合基线相比,提出方法在SCD以及VIFF等客观融合指标上性能分别提升了15.16%和46.53%,并且在主观视觉质量上均取得了优越的结果。