基于张量矩阵乘积态分解和深度学习的多模态图像融合算法研究

作     者：王蕊 

作者单位：安徽大学 

学位级别：硕士

导师姓名：卢一相

授予年度：2023年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：多模态图像融合 张量矩阵乘积态分解 S型融合函数 非下采样剪切波变换 脉冲耦合神经网络 

摘      要：与单模态图像融合易受传感器设备质量和采集环境的影响不同,多模态图像融合将不同传感器采集到的同一场景的不同图像集成到一幅图像中,使得融合后的图像比原始图像包含更多的信息,易于计算机识别和人类视觉感知。如红外与可见光图像融合,红外图像目标显著但分辨率低,可见光图像背景信息丰富但目标捕捉能力差,两者融合可以互补单一传感器成像能力缺陷,实现了场景的完整表达。多模态图像融合具有实际应用价值,目前在视频监控、医疗影像、军事遥感等领域有着广泛的应用。 本文主要以多模态图像为研究对象,以张量分解和深度学习网络为理论基础,提出了两种融合算法,并以多组对比实验进行了分析验证,论文的主要工作如下: (1)概述多模态图像融合的研究意义和背景,对融合技术的重难点进行了分析,最后探讨了国内外图像融合算法上的研究现状。 (2)为了解决已有多模态图像融合算法中存在的信息丢失、伪吉布斯现象和对比度损失等问题,提出了一种基于张量矩阵乘积态分解(Matrix Product State,MPS)的融合算法。首先,将两幅原始图像进行张量重构,采用滑动窗口技术将张量分解为一系列子张量以更精细地提取特征,对子张量进行MPS分解得到包含原始图像特征信息的核矩阵;然后对其按照特定的函数融合规则处理,再使用张量重构得到结果。通过多组对比实验,所提出的算法在信息保留、去除伪影和减少对比度损失方面表现优良。 (3)为了增强融合图像中的边缘特征,本文在MPS分解的基础上,细化分解过程,提出了一种基于MPS和脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)的融合算法。首先利用非下采样剪切波变换(Non-subsampled Shearlet Transform,NSST)对原始图像进行分解得到低频子图像和高频子图像;然后对低频子图像采用基于MPS分解的融合规则,对高频子图像则采用PCNN进行融合;最后将融合后的低频、高频子图像经NSST逆变换重构得到融合结果。综合对比实验结果可得,该算法有效保留了图像边缘特征信息,轮廓更为清晰,提升了融合图像质量。