针对现有医学图像融合方法产生的图像,存在源图像潜在特征信息丢失而导致融合效果差的问题,提出一种利用生成对抗网络(generative adversarial network,GAN)来探索潜在空间的图像融合算法(GAN-ELS),用于提高计算机断层成像(CT)与T2加权核磁共振成像(MR-T2)融合图像的质量.该算法首先通过基于StyleGAN改进的对抗网络在训练进程中的特征解缠学习、多分辨率层级样式控制,来充分实现对CT与MR-T2图像特征分布的无监督学习;然后在训练得到的生成器的基础上,根据配准过的源图像与当前主流融合方法所产生的对应融合图像,来探索目标融合图像所在的潜在特征空间;最终获得语义信息丰富的高质量融合图像.在Havard Medical School的全脑图谱数据集上的实验表明,与5种性能良好的主流融合方法相比,GAN-ELS融合后的图像在结构相似性、归一化互信息、峰值信噪比、归一化均方根误差等多个指标上更优,融合质量更好.
暂无评论