检索结果-内蒙古大学图书馆

中国组织工程研究 2021年第36期25卷 5759-5764页

作者：王秀廷王永康孙健王建李嗣生淄博市第七人民医院脊柱外科山东省淄博市255040

背景:多模态医学图像融合技术目前多用于临床诊断、放射性治疗及病理变化的跟踪与治疗等,但联合智能机械臂辅助椎体强化临床应用较少。目的:评价多模态图像融合联合智能机械臂辅助建立椎体强化通道的安全性和有效性。方法:试验纳入骨质... 详细信息

背景:多模态医学图像融合技术目前多用于临床诊断、放射性治疗及病理变化的跟踪与治疗等,但联合智能机械臂辅助椎体强化临床应用较少。目的:评价多模态图像融合联合智能机械臂辅助建立椎体强化通道的安全性和有效性。方法:试验纳入骨质疏松性椎体压缩骨折椎体强化患者62例,随机分为2组,试验组31例采用多模态图像融合联合智能机械臂辅助建立椎体强化通道,对照组31例采用常规方法建立椎体强化通道。在相同规则下进行同一种骨水泥注入完成椎体强化。分别记录两组的术中指标、术后疼痛情况分及伤椎再骨折例数并进行统计学分析评定结果。结果与结论:(1)与对照组相比,试验组的穿刺时间、透视次数、放射暴露总剂量、穿刺调整次数、骨水泥渗漏、定位时间和术后1 d疼痛目测类比评分均显著降低(P<0.001),穿刺精度优良率、骨水泥注入量和骨水泥弥散优良率均显著升高(P<0.001),两组定位透视次数无显著差异。(2)两组患者术后随访均未见感染,对照组1例患者在双肺动脉发现水泥栓子,1例患者术后疼痛长期无缓解,3例患者在术后6个月内因疼痛再发行MRI检查诊断伤椎再次骨折,而试验组随访时未见上述并发症。(3)结果证实,多模态图像融合联合智能机械臂辅助建立椎体强化通道可提高椎弓根定位穿刺的精准度及椎体强化效果,同时有效减少了术中放射暴露剂量及并发症的发生,安全可靠。

关键词：多模态图像融合智能机械臂椎体强化通道骨质疏松椎体骨折骨水泥放射暴露剂量

来源：评论

学校读者我要写书评

暂无评论

多模态图像融合3D立体重建在PTN诊断中的研究及PTN危险因素的Logistic多因素分析

多模态图像融合3D立体重建在PTN诊断中的研究及PTN危险因素的Logi...

引用

作者：焦迎斌青岛大学

学位级别：博士

目的原发三叉神经痛的发病机制为神经血管接触,神经血管关系与原发性三叉神经痛的发病密切相关,也是显微血管减压术的重要指征。本研究旨在探讨多模态图像融合技术在诊断原发三叉神经痛神经血管关系中的应用,以及微血管减压术治疗原发... 详细信息

目的原发三叉神经痛的发病机制为神经血管接触,神经血管关系与原发性三叉神经痛的发病密切相关,也是显微血管减压术的重要指征。本研究旨在探讨多模态图像融合技术在诊断原发三叉神经痛神经血管关系中的应用,以及微血管减压术治疗原发性三叉神经痛的术前可视化研究。用于诊断神经血管接触关系的影像学检查方法主要有3D-TOF-MRA和3D-FIESTA/CISS序列核磁共振检查。在研究中,利用3D-slicer对3D-TOF-MRA和3D-FIESTA/CISS图像进行多模态图像融合并3D立体图像重建,以微血管减压术中神经血管接触程度为金标准,探讨3D-TOF-MRA图像、3D-FIESTA/CISS图像和3D-slicer多模态图像融合并3D立体重建图像三种方法对原发性三叉神经痛神经血管接触诊断的特异性和敏感性。同时,通过回顾性研究,对血浆低密度脂蛋白胆固醇、总胆固醇、空腹血糖和血压,以及椎-基底动脉迂曲等可能引起神经血管接触的原发性三叉神经痛的发病因素进行Logistic多因素分析,探讨引起原发性三叉神经痛的危险因素,为预防和降低微血管减压术后三叉神经痛复发率提供理论依据。方法第一部分,首先回顾45例原发性三叉神经痛病例的病历资料。所有研究对象的病例资料完整并进行过微血管减压术治疗。收集所有研究对象的原始颅神经核磁共振DICOM文件、手术记录、手术录像和术中照片。其次,利用3D-slicer对45例原发性三叉神经痛研究对象的3D-FIESTA/CISS和3D-TOF-MRA序列核磁共振检查图像进行多模态图像融合和3D重建。具体方法是从3D-FIESTA/CISS图像中提取出桥脑和三叉神经信息,从3D-TOF-MRA图像中提取出椎-基底动脉血管信息,利用3D-slicer进行图像融合并重建为3D立体的可视化图像。然后,根据神经血管关系的标准,由高年资放射科医师和高年资神经外科医师分别对3D-TOF-MRA、3D-FIESTA/CISS、3D-slicer多模态图像融合后重建的3D立体图像以及术中的神经血管关系情况进行分析判定,记录神经血管接触的程度。最后,以术中的神经血管接触程度为状态变量,以肯定接触为切点,3D-TOF-MRA、3D-FIESTA/CISS和3D-slicer多模态图像融合后重建的3D立体图像中神经血管的程度作为检验变量,对三种诊断方法进行ROC曲线分析,比较三种方法在诊断原发性三叉神经痛中神经血管关系的特异性和敏感性。第二部分,由医渡云大数据平台检索出218例原发性三叉神经痛和228例对照组研究对象。回顾收集所有研究对象的年龄、性别和原发性三叉神经痛特点等一般情况,提取所有研究对象的血浆低密度脂蛋白胆固醇、总胆固醇和,以及空腹血糖、血压和椎-基底动脉迂曲程度等数值。其次,对两组研究对象中高于正常范围的血浆低密度脂蛋白胆固醇、总胆固醇、空腹血糖和血压比例进行卡方检验,并对218例原发性三叉神经痛和228例对照组研究对象的血浆低密度脂蛋白胆固醇、总胆固醇、空腹血糖和血压进行Logistic多因素分析。结合核磁共振动脉血管成像,对原发性三叉神经痛和对照组中椎-基底动脉迂曲比例和迂曲程度分别进行卡方减压和秩和检验,分析原发性三叉神经痛和对照组之间椎-基底动脉迂曲的统计学差异。最后根据Logistic多因素分析、卡方检验和秩和检验的结果判断引起原发性三叉神经痛的危险因素。结果第一部分,Kappa分析显示,高年资放射科医师和高年资神经外科医师对3D-TOF-MRA、3D-FIESTA/CISS、3D-slicer多模态图像融合后重建的3D立体图像和术中的神经血管关系情况的判定一致性良好。对3D-TOF-MRA图像中神经血管关系判定的Kappa值分别为左侧0.937,右侧0.740。对3D-FIESTA/CISS图像中神经血管关系判定的Kappa值分别为左侧0.773,右侧0.845。对3D-slicer多模态图像融合后重建的3D立体图像中神经血管关系判定的Kappa值分别为左侧0.850,右侧0.757,均高于0.7。两位高年资神经外科医师对术中神经血管关系的判定的Kappa值0.556,最终以两位高年资神经外科医师会诊后确定的神经血管接触程度为准。将上述判定结果建立数据库,进行ROC曲线分析。在3D-TOF-MRA、3D-FIESTA/CISS和3D-slicer多模态图像融合后重建的3D立体图像中,以肯定接触为切点,以3D-TOF-MRA、3D-FIESTA/CISS和3D-slicer多模态图像重建图像作为检验变量,以显微血管减压术中的神经血管关系为状态变量,绘制ROC曲线,并计算曲线下面积,判断3种影像学诊断方法的特异性和敏感性。结果显示3D-TOF-MRA ROC曲线下面积为0.518,3D-FIESTA/CISS的曲线下面积

关键词：原发三叉神经痛神经血管接触多模态图像融合手术可视化危险因素

来源：评论

学校读者我要写书评

暂无评论

基于CvT-13和多模态图像融合的心电分类算法

引用

生物医学工程学杂志 2023年第4期40卷 736-742页

作者：李国权朱双青刘梓潼林金朝庞宇重庆邮电大学通信与信息工程学院重庆400065 光电信息感测与传输技术重庆市重点实验室重庆400065

心电(ECG)信号是心律失常和心肌梗死诊断的重要依据。为进一步提升心律失常和心肌梗死分类效果,提出了一种基于Convolutional vision Transformer(CvT)和多模态图像融合的心电分类算法。通过格拉姆求和角场(GASF)、格拉姆差分角场(GADF... 详细信息

心电(ECG)信号是心律失常和心肌梗死诊断的重要依据。为进一步提升心律失常和心肌梗死分类效果,提出了一种基于Convolutional vision Transformer(CvT)和多模态图像融合的心电分类算法。通过格拉姆求和角场(GASF)、格拉姆差分角场(GADF)和递归图(RP)将ECG一维信号转化成三种不同模态的二维图像,并融合生成包含了更多特征的多模态融合图像。CvT-13模型对融合后的图像进行处理可以兼顾局部和全局信息,从而有效提升了分类性能。在MIT-BIH心律失常数据集和PTB心肌梗死数据集上,该算法对五种心律失常分类的综合准确率达到99.9%,对心肌梗死分类的综合准确率达到99.8%。实验表明,高精度计算机辅助的智能分类方法具有一定的优越性,可以有效提高心律失常以及心肌梗死等心脏疾病的诊断效率。

关键词：心电信号心律失常分类心肌梗死多模态图像融合 CvT-13

来源：评论

学校读者我要写书评

暂无评论

基于多模态图像融合的早期蕈样肉芽肿识别

引用

数据采集与处理 2023年第4期38卷 792-801页

作者：谢凤英赵丹培王可刘兆睿王煜坤张漪澜刘洁北京航空航天大学宇航学院图像处理中心北京100191 北京协和医院皮肤科北京100730 中国医学科学院北京协和医学院北京100730

早期蕈样肉芽肿(Mycosis fungoid,MF)可表现为红斑鳞屑性皮损,很难从银屑病及慢性湿疹等良性炎症性皮肤病中鉴别出来。本文提出了一种基于多模态图像融合的早期蕈样肉芽肿识别方法。该方法基于皮肤镜图像和临床图像,采用ResNet18网络提... 详细信息

早期蕈样肉芽肿(Mycosis fungoid,MF)可表现为红斑鳞屑性皮损,很难从银屑病及慢性湿疹等良性炎症性皮肤病中鉴别出来。本文提出了一种基于多模态图像融合的早期蕈样肉芽肿识别方法。该方法基于皮肤镜图像和临床图像,采用ResNet18网络提取单模态图像的特征;设计跨模态的注意力模块,实现两种模态图像的特征融合;并且设计自注意力模块提取融合特征中的关键信息,改善信息冗余,从而提高蕈样肉芽肿智能识别的准确度。实验结果表明,本文所提出的智能诊断模型优于对比算法。将本文模型应用于皮肤科医生的实际临床诊断,通过实验组医生和对照组医生平均诊断准确率的变化证实了本文模型能够有效提升临床诊断水平。

关键词：皮肤镜图像临床图像多模态图像融合临床应用辅助诊断

来源：评论

学校读者我要写书评

暂无评论

三叉神经显微血管减压术前多模态图像融合三维重建的神经血管关系与术中一致性研究

引用

中华神经外科杂志 2019年第12期35卷 1221-1225页

作者：焦迎斌薄勇力段峰王俊红马俊伟林强闫志勇孟庆海青岛大学附属医院神经外科 266000 青岛大学附属医院放射科 266000 青岛市沙子口社区卫生服务中心 266102

目的探讨显微血管减压术(MVD)前多模态图像融合三维重建图像判断原发性三叉神经痛(PTN)神经血管关系与术中所见的一致性。方法回顾性分析2018年1月至11月青岛大学附属医院神经外科采用MVD治疗的50例PTN患者的临床资料。所有患者术前均... 详细信息

目的探讨显微血管减压术(MVD)前多模态图像融合三维重建图像判断原发性三叉神经痛(PTN)神经血管关系与术中所见的一致性。方法回顾性分析2018年1月至11月青岛大学附属医院神经外科采用MVD治疗的50例PTN患者的临床资料。所有患者术前均行头颅三维时间飞越法磁共振血管成像(3D-TOF-MRA)和三维循环相位稳态采集快速成像(3D-FIESTA),之后利用3D-slicer软件进行多模态图像融合三维重建。分别对多模态图像融合三维重建图像和手术录像进行分析,判断责任血管、责任血管对三叉神经的压迫方向、压迫位置及压迫程度。采用计算Kappa系数的方法判断两者的一致性。结果以MVD中所见为标准,多模态图像融合三维重建图像判断责任血管、责任血管对三叉神经的压迫方向、压迫位置及压迫程度的准确率分别为92.0%(46/50)、92.0%(46/50)、96.0%(48/50)、58.0%(29/50)。多模态图像融合三维重建图像和MVD术中所见在判断责任血管、责任血管对三叉神经的压迫方向及压迫位置方面具有较高的一致性(Kappa系数分别为0.729、0.903、0.955,均P<0.001),而在判断责任血管对三叉神经的压迫程度方面一致性较差(Kappa系数=0.227,P=0.002)。MVD中所见的压迫程度高于多模态图像融合三维重建图像所示(分别为2.57级、1.58级,Z=-4.499,P<0.001)。结论术前通过多模态图像融合三维重建图像可较准确地判断PTN有无责任血管及责任血管对三叉神经的压迫方向和压迫位置,与MVD中所见具有高度一致性;初步推测可作为术前诊断的方法之一。

关键词：三叉神经痛多模态图像融合显微血管减压术神经血管关系计算机辅助诊断

来源：评论

学校读者我要写书评

暂无评论

基于保边滤波分解和稀疏学习的多模态图像融合

基于保边滤波分解和稀疏学习的多模态图像融合

引用

作者：邢长达南京航空航天大学

学位级别：博士

多模态图像融合是将不同成像传感器关于同一场景所采集的图像数据进行融合,获得高质量的图像,以方便人类的观察和计算机的进一步处理。目前,该技术已经广泛应用于军事侦查、卫星遥感、医学临床以及数码成像等领域,具有十分重要的实际意... 详细信息

多模态图像融合是将不同成像传感器关于同一场景所采集的图像数据进行融合,获得高质量的图像,以方便人类的观察和计算机的进一步处理。目前,该技术已经广泛应用于军事侦查、卫星遥感、医学临床以及数码成像等领域,具有十分重要的实际意义。最具代表性的图像融合算法是基于图像分解和基于机器学习的方法。一方面,图像分解可以提取空域中的不可见信息,具有一定深度特性,在图像融合问题中取得了很突出的成绩。另一方面,稀疏表示作为机器学习的重要工具,其稀疏性在图像特征表达方面具有较强的能力,因此在多模态图像融合方面也取得了很大的进展。尽管现有相关方法实现了很好的融合性能,但仍存在一些挑战。本文展示了如下工作:1.针对传统基于保边滤波分解框架中关于显式核函数导致的邻域定义难的问题,提出了基于相关性概率统计保边滤波器的多模态图像融合算法。考虑像素间的中间信息,从概率的角度来估算权值,消除邻域定义难的问题。另外,在设计融合规则时,考虑人类的视觉感知,分别设计了基于权图谱和最小二乘的融合规则。2.针对传统基于保边滤波分解框架中关于由数据级敏感参数导致的数据表达能力差的缺陷,提出了一种基于双调性保边滤波分解和稀疏学习的多模态图像融合算法。本方法考虑利用数据集敏感参数趋零的双调性滤波器来构建分解结构,可局部适应图像中的信号与噪声。考虑图像背后的信息,利用稀疏表示的方法来设计融合规则。3.针对传统基于稀疏表示融合方法中关于块编码导致的图像局部信息失真的问题,考虑利用卷积稀疏表示学习的方法来对全图模式进行编码,以此替代传统的块编码方式。并利用掩膜算子来改善卷积稀疏模型的性能,并用作融合规则设计。另外,针对现有基于尺度分解的融合方法所面临的分解层数选择困难等问题,提出估计分解层数的两尺度梯度分解模型。4.针对大部分基于图像分解的多模态图像融合算法中关于仅关注单个特征类而忽视了其它互补的特征信息的缺陷,我们首次将泰勒展开理论引入图像分解中,提出了基于泰勒展开的图像本征元素提取方法,将原始图像分解为一个偏差元素和多个能量元素。此分解方法关注的是图像的全局特性,而不是单个特征类,从而可减少信息丢失。考虑利用梯度特性来改善卷积稀疏表示模型的噪声抑制能力,并用于融合规则设计。5.在三维光谱数据(即高光谱和多光谱图像)融合问题中,针对传统基于稀疏表示的算法中关于光谱带之间相关性信息描述难等问题,提出了面向高光谱和多光谱图像的基于联合稀疏-协同表示学习的融合方法,充分考虑光谱数据内的稀疏性和光谱带间相关性,以此来改善传统基于表示学习方法的性能。

关键词：多模态图像融合保边滤波分解稀疏表示学习块编码卷积稀疏表示协同性

来源：评论

学校读者我要写书评

暂无评论

基于多模态图像融合的机器人定位抓取方法研究与应用

基于多模态图像融合的机器人定位抓取方法研究与应用

引用

作者：王宇晗扬州大学

学位级别：硕士

机器人自主识别抓取对象的能力决定了机器人的执行力上限。在机器人抓取的应用领域中,作业环境复杂、抓取对象复杂等都是限制机器人抓取能力的稳定性、精准性和鲁棒性的重要因素。针对非结构化环境中任意姿态的未知物体,本文提出多模态... 详细信息

机器人自主识别抓取对象的能力决定了机器人的执行力上限。在机器人抓取的应用领域中,作业环境复杂、抓取对象复杂等都是限制机器人抓取能力的稳定性、精准性和鲁棒性的重要因素。针对非结构化环境中任意姿态的未知物体,本文提出多模态图像融合和零样本训练的抓取检测网络,以解决抓取模式单一、抓取对象姿态估计难的问题。本文主要完成以下3个方面的研究工作:1.提出了一种基于多模态动态协作融合的机器人抓取检测网络。为了灵活选择多种融合方法的优势,搭建了一个端到端抓取检测网络,本文提出的多模态动态协作融合网络的抓取检测方法分别对两种模态数据提取不同融合阶段需要的特征,通过动态协作融合的方式对其进行特征融合,能够有效降低不同融合阶段的不良影响,充分发挥多模态特征融合的优势。2.提出了一种基于零样本的抓取检测网络。本文在抓取检测方法中,引入零样本学习的概念,通过语言级语义来生成抓取目标的视觉特征,从而能够实现在无需任何此类对象的图像数据条件下就能生成抓取姿态矩形框,该方法能够大幅降低训练成本并且同时能够有效提升网络的目标检测能力。3.搭建了一个基于ROS平台的六自由度机器人控制系统,并且在系统中部署本文所提出的两种抓取检测网络模型,实现了机器人自主定位抓取。本文使用Gluon机械臂搭建机器人控制系统,使用ROS开源平台作为机器人基础软件框架,同时在ROS中驱动Kinect DK深度相机作为机器人的视觉感知单元,并且在其中部署抓取检测网络模型,能够实时获取抓取目标的多模态图像数据然后进行抓取检测,最后使用MoveIt!运动控制组件实现机器人的自主识别抓取的研究目标。

关键词：六自由度机器人深度学习抓取检测多模态图像融合零样本学习卷积神经网络

来源：评论

学校读者我要写书评

暂无评论

基于多模态图像融合的行人检测和场景分割

基于多模态图像融合的行人检测和场景分割

引用

作者：陈武阳中南大学

学位级别：硕士

自动驾驶车辆通常搭载多种传感器用来获取多模态数据。将不同模态数据相结合,能够捕获更多空间与上下文信息,从而帮助车辆鲁棒准确感知周围环境。特别是近年来随着数据资源与计算能力的与日增长,促进了深度多模态融合模型的发展。然而,... 详细信息

自动驾驶车辆通常搭载多种传感器用来获取多模态数据。将不同模态数据相结合,能够捕获更多空间与上下文信息,从而帮助车辆鲁棒准确感知周围环境。特别是近年来随着数据资源与计算能力的与日增长,促进了深度多模态融合模型的发展。然而,多模态数据提供丰富信息的同时,也带来了复杂性和冗余性,如何尽可能利用多模态间的互补信息得到最优联合表征,提升感知系统的性能,仍然是尚未解决的问题。本文主要以可见光与红外热图像作为多模态数据来源,研究自动驾驶场景下的行人检测与场景分割两大关键感知任务。本文的主要工作如下:(1)提出了一种基于可见光与红外热融合的行人检测方法。考虑到使用数据集中存在模态数据空间不对齐问题,设计对齐互补融合模块,在融合可见光与红外热互补信息前,利用可变形卷积自动地对特征进行空间形变,消除不对齐问题带来的影响。其次,由于不同光线条件下,不同模态对行人检测的贡献不同,本文引入光线感知模块更有效地利用可见光与红外热图像差异化优势。实验结果表明,该方法在改进后的公开Kaist测试集上,相较近年来的先进方法取得了最佳检测效果。(2)提出了一种基于可见光与红外热融合的场景分割方法。首先引入空洞卷积增加视野域,不增加额外参数的情况下形成多尺度并行模块,频繁嵌入在模型编码器深层。其次,构建了特征转换模块,自动学习转换所需的平移与缩放因子,减少红外热与可见光特征间的数据分布差异,从而促进不同模态间的融合效率。编码器特征以跳跃连接的方式输入至解码器内的特征转换模块,有利于信息在模型内部传递。最终该方法在公开多光谱分割数据集上相对于其他方法展现出了显著优势。本文从可见光与红外热图像两种模态数据特性出发,进一步根据不同感知任务的需求与公开数据集实际分布情况,有针对性的设计了多模态行人检测方法和场景分割方法,并创造性的提出了相应模块,有效缓解了多模态数据空间位置不对齐问题与多模态特征间分布不平衡等现象。这些方法和模块的提出对于多模态数据融合感知领域有着积极意义。图38幅,表16个,参考文献66篇

关键词：多模态图像融合可见光图像红外热图像行人检测场景分割

来源：评论

学校读者我要写书评

暂无评论

基于滤波分解和稀疏表示的多模态图像融合算法研究

基于滤波分解和稀疏表示的多模态图像融合算法研究

引用

作者：裴春阳江西理工大学

学位级别：硕士

随着医学成像技术的高速发展,医学图像在医疗诊断中得到了广泛的应用,原因在于医学图像能够清晰地反映被检测部位的局部特征,因此,利用医学图像对病灶进行定位和分析逐渐成为医学诊断中的一种行之有效的手段。多模态图像融合技术能够利... 详细信息

随着医学成像技术的高速发展,医学图像在医疗诊断中得到了广泛的应用,原因在于医学图像能够清晰地反映被检测部位的局部特征,因此,利用医学图像对病灶进行定位和分析逐渐成为医学诊断中的一种行之有效的手段。多模态图像融合技术能够利用图像处理的方法结合不同输入图像的特征,生成一种具备高分辨率且更符合人类视觉系统的复合图像,在临床诊断的过程中医生无需单独观察单个医学图像,极大地增加了诊断的准确率,因此研究多模态图像融合方法有较高的应用价值。同时,多模态图像融合在遥感、视频监控、摄影等方面也有广泛的应用。近年来,多模态图像融合方法层出不穷,但是发展至今仍然有一些问题没有被很好地解决,本文的研究工作主要以医学图像作为测试图像展开。具体的研究内容可进一步总结为以下几个部分:(1)针对传统稀疏表示算法在多模态医学图像融合中容易产生伪影且存在细节缺失的问题,设计一种利用多尺度边缘保留分解和稀疏表示的多模态医学图像融合方法。该方法包含以下步骤:首先利用边缘保留滤波器对源图像进行多尺度分解,得到源图像的平滑层和细节层;然后,将改进的稀疏表示算法运用于融合平滑层,在此基础上采用一种基于图像块筛选的策略来构建过完备字典的训练数据集,利用字典学习算法训练出一种联合字典,并引入一种多范数的活跃度度量方法选择稀疏系数;细节层的融合则采用自适应加权局部区域能量的融合规则,最后将融合的平滑层和细节层进行多尺度重构得到融合图像。针对三类不同成像模态的医学图像进行对比实验,实验结果表明,该算法相比较典型的多尺度变换和稀疏表示算法能够保留更多显著的边缘特征,对比度也有明显提升,在视觉效果和客观评价上都具有一定优势。(2)针对多尺度变换的融合算法不能准确识别源图像中有意义的显著特征的问题,设计一种基于稀疏表示和引导滤波的二尺度医学图像融合算法。在此框架中,首先使用引导过滤器将源图像分解为基础层和细节层以粗略分离源图像的两种不同特征,即结构信息和纹理细节;为了有效地保留大多数结构信息,使用拉普拉斯金字塔和稀疏表示的融合规则融合基础层;随后,使用基于引导滤波的方法合并细节层,这种方法通过噪声去除的方式尽可能提高融合图像的对比度,最终重建融合的基础层和细节层以生成融合图像。通过从视觉效果和客观评估两个方面比较实验结果,证明该方法有效地保留了锐利的边缘特征和能量,而且没有从源图像中提取异常的细节,因此具有更好的融合性能。(3)针对多尺度变换的融合方法难以同时提取功能信息和结构信息的问题,本文设计了一种基于区间梯度和鲁棒Retinex模型的多模态医学图像融合算法。该算法首先利用区间梯度模型将源图像进行纹理滤波,实现源图像的二尺度结构-纹理分解,得到结构子图像和纹理子图像;在结构子图像的融合阶段,采用改进稀疏表示的融合方法融合结构子图像,该方法在字典学习阶段利用公开的多模态医学图像和部分自然图像作为数据集,训练出一种具备泛用性的模糊字典用于稀疏编码;在纹理子图像的融合中,利用鲁棒Retinex模型对纹理子图像作对比度增强来突出其中的纹理细节,最后将融合的结构子图像和纹理子图像合并得到融合图像。实验结果表明,该方法对于两种伪彩色医学图像融合问题有良好的表现。

关键词：多模态图像融合稀疏表示引导滤波区间梯度鲁棒Retinex模型

来源：评论

学校读者我要写书评

暂无评论

基于张量矩阵乘积态分解和深度学习的多模态图像融合算法研究

基于张量矩阵乘积态分解和深度学习的多模态图像融合算法研究

引用

作者：王蕊安徽大学

学位级别：硕士

与单模态图像融合易受传感器设备质量和采集环境的影响不同,多模态图像融合将不同传感器采集到的同一场景的不同图像集成到一幅图像中,使得融合后的图像比原始图像包含更多的信息,易于计算机识别和人类视觉感知。如红外与可见光图像融合... 详细信息

与单模态图像融合易受传感器设备质量和采集环境的影响不同,多模态图像融合将不同传感器采集到的同一场景的不同图像集成到一幅图像中,使得融合后的图像比原始图像包含更多的信息,易于计算机识别和人类视觉感知。如红外与可见光图像融合,红外图像目标显著但分辨率低,可见光图像背景信息丰富但目标捕捉能力差,两者融合可以互补单一传感器成像能力缺陷,实现了场景的完整表达。多模态图像融合具有实际应用价值,目前在视频监控、医疗影像、军事遥感等领域有着广泛的应用。本文主要以多模态图像为研究对象,以张量分解和深度学习网络为理论基础,提出了两种融合算法,并以多组对比实验进行了分析验证,论文的主要工作如下: (1)概述多模态图像融合的研究意义和背景,对融合技术的重难点进行了分析,最后探讨了国内外图像融合算法上的研究现状。 (2)为了解决已有多模态图像融合算法中存在的信息丢失、伪吉布斯现象和对比度损失等问题,提出了一种基于张量矩阵乘积态分解(Matrix Product State,MPS)的融合算法。首先,将两幅原始图像进行张量重构,采用滑动窗口技术将张量分解为一系列子张量以更精细地提取特征,对子张量进行MPS分解得到包含原始图像特征信息的核矩阵;然后对其按照特定的函数融合规则处理,再使用张量重构得到结果。通过多组对比实验,所提出的算法在信息保留、去除伪影和减少对比度损失方面表现优良。 (3)为了增强融合图像中的边缘特征,本文在MPS分解的基础上,细化分解过程,提出了一种基于MPS和脉冲耦合神经网络(Pulse Coupled Neural Network,PCNN)的融合算法。首先利用非下采样剪切波变换(Non-subsampled Shearlet Transform,NSST)对原始图像进行分解得到低频子图像和高频子图像;然后对低频子图像采用基于MPS分解的融合规则,对高频子图像则采用PCNN进行融合;最后将融合后的低频、高频子图像经NSST逆变换重构得到融合结果。综合对比实验结果可得,该算法有效保留了图像边缘特征信息,轮廓更为清晰,提升了融合图像质量。

关键词：多模态图像融合张量矩阵乘积态分解 S型融合函数非下采样剪切波变换脉冲耦合神经网络

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：