检索结果-内蒙古大学图书馆

中南大学学报（医学版） 2022年第8期47卷 1001-1008页

作者：孙杰金诗晨石蓉左传涛蒋皆恢上海大学通信与信息工程学院生物医学工程研究所上海200444 复旦大学附属华山医院PET中心上海200040

医学图像跨模态重建是指基于被试某一种模态图像,预测同一被试的另一种模态图像,以实现更精准的个体化医疗。生成对抗网络(generative adversarial networks,GAN)是医学图像跨模态重建中最常见的深度学习技术,该技术通过从遵循真实数据... 详细信息

医学图像跨模态重建是指基于被试某一种模态图像,预测同一被试的另一种模态图像,以实现更精准的个体化医疗。生成对抗网络(generative adversarial networks,GAN)是医学图像跨模态重建中最常见的深度学习技术,该技术通过从遵循真实数据分布的隐式分布中生成医学图像,进而快速重建出其他模态医学图像数据。随着临床对多模态影像数据需求的剧增,GAN技术在磁共振成像、计算机断层扫描和正电子发射型计算机断层扫描等多种不同的医学图像模态之间的跨模态重建任务中均得到广泛的应用,在脑、心等不同部位实现精准高效的跨模态图像重建。此外,虽然GAN在跨模态重建中取得了一定的成功,但其在稳定性、泛化能力和准确度方面仍需要进一步的改进。

关键词：生成对抗网络跨模态重建 CT预测 MRI预测正电子发射型计算机断层扫描预测

来源：评论

学校读者我要写书评

暂无评论

医学影像跨模态重建中的生成对抗网络研究进展

引用

协和医学杂志 2023年第6期14卷 1162-1169页

作者：李卓远徐国豪王峻晨王赛硕王传涛翟吉良北京建筑大学机电与车辆工程学院北京102616 中国医学科学院北京协和医院骨科北京100730

单一模态的医学影像所包含的疾病特征信息有限,临床医生可通过综合分析多种模态的医学影像信息以明确诊断,但由于医疗资源及诊疗时间受限,医生一般无法在短时间内获得所需的多模态影像信息。跨模态医学影像重建技术能够生成临床所需的... 详细信息

单一模态的医学影像所包含的疾病特征信息有限,临床医生可通过综合分析多种模态的医学影像信息以明确诊断,但由于医疗资源及诊疗时间受限,医生一般无法在短时间内获得所需的多模态影像信息。跨模态医学影像重建技术能够生成临床所需的多种模态医学影像,有望辅助临床医生对疾病进行精准诊疗。目前,传统跨模态重建技术已实现部分临床场景的应用,但重建影像的生成质量有待进一步提高,生成对抗网络可重建出临床所需的高质量多模态医学影像,最大程度地节约医疗资源并缩短患者就诊时间。本文就生成对抗网络在X线、CT、MRI、PET等多模态影像之间的跨模态重建应用研究作一综述,以期为开发更先进的跨模态重建技术提供借鉴。

关键词：跨模态重建放射影像生成对抗网络

来源：评论

学校读者我要写书评

暂无评论

基于深度学习的图像跨模态重建与识别

基于深度学习的图像跨模态重建与识别

引用

作者：曹兵西安电子科技大学

学位级别：博士

图像是人类获取信息的重要来源。随着传感技术的迅猛发展，图像的形态呈现多元化，如应用在刑侦追捕等领域的法医画像;应用在放射医学等领域的核磁共振图像;应用在门禁系统等安全防范领域中的近红外图像;应用在生命探测等领域的热红外... 详细信息

图像是人类获取信息的重要来源。随着传感技术的迅猛发展，图像的形态呈现多元化，如应用在刑侦追捕等领域的法医画像;应用在放射医学等领域的核磁共振图像;应用在门禁系统等安全防范领域中的近红外图像;应用在生命探测等领域的热红外图像。来自不同传感器或不同成像环境下的图像(例如可见光条件下拍摄的人脸照片、画家手绘的素描画像、红外成像设备采集的近红外/热红外人脸图像、不同模态的医学核磁共振图像、计算机断层扫描图像/核磁共振图像)均称为不同模态下的图像，即跨模态图像。　　跨模态图像之间往往存在很大的差异，这对图像跨模态重建和识别带来了巨大的挑战。而现有的方法无法有效解决这些问题，满足实际的应用需求。因此，本文致力于图像跨模态重建与识别任务，以深度学习为理论框架，提出一系列跨模态图像重建与识别新方法。本文的主要创新性工作概括如下：　　1.提出一种基于深度信息融合的图像跨模态重建方法。现有的图像跨模态重建算法，大多受限于跨模态图像数据的规模，导致图像重建的效果欠佳，难以满足实际应用场景的需要。针对这一问题，提出一种基于深度信息融合的图像跨模态重建方法。首先利用不同的识别模型对图像重建网络分别进行监督，由于不同识别网络的差异，为重建结果带来了更大的类内多样性，然后将这些重建图像加入训练集，综合利用原始训练集与重建图像，进一步优化重建网络模型，最后实现更加清晰、真实的图像跨模态重建效果。　　2.提出一种基于身份信息保持的图像跨模态重建方法。现有的图像跨模态重建方法在图像重建的过程中，由于只考虑到生成图像与真实图像在像素级上的差异，而未考虑到特征级和语义级的差异，导致重建结果大多存在变形严重、细节模糊、语义判别信息较弱等问题，从而导致较差的主观表现和较低的定量评价分数。针对这一问题，提出一种基于身份信息保持的图像跨模态重建方法。首先，利用现有的跨模态人脸图像重建算法来扩充训练集。然后，采用跨域转换网络来增强图像重建模型在像素级、特征级、语义级的信息一致性，进而提高重建模型的生成效果，克服了跨模态图像之间的巨大差异，由于保持了多重信息一致性，使得转换前后图像的结构变形较小、细节保真度高。最后利用域内调整网络进一步优化重建图像的主观效果。　　3.提出一种基于自表示协同学习的图像跨模态重建方法。现有的跨模态图像重建方法只能从一种模态转换为另一种模态，无法有效利用多种模态的互补信息，导致有效信息的浪费，图像重建结果的准确性也较差。针对这一问题，提出了一个基于自表示协同学习的图像跨模态重建方法。本算法可以全面利用已有多模态图像中与目标模态相关的所有可用信息。与现有方法不同，提出使用自编码网络，作为自监督约束，计算针对缺失模态的自表示损失函数，对跨模态图像重建模型进行直接指导。最后可通过单一模型更加准确的生成任一缺失模态的图像。　　4.提出一种基于数据增广非对称联合学习的图像跨模态识别方法。现有的图像跨模态识别方法，无法根据小规模的跨模态图像数据进行有效学习，导致识别模型的精度较差。针对这一问题，提出一种基于数据增广的非对称联合学习方法。首先，利用已有的合成算法扩展原始训练集，由于不同方法的图像重建原理不同，重建图像的模态差异会为原始数据带来更多的判别信息。但是，将所有重建图像加入训练集的同时，也引入了冗余信息。所提出的非对称联合学习算法，可以在增加类内有效信息的同时，减少对类间差异信息的影响。最后，通过计算跨模态图像之间的对数似然比，获得其相似性。本方法在人脸素描画像数据集、法医画像数据集、近红外图像数据集、热红外图像数据集、低分辨人脸数据集和人脸遮挡数据集等多种人脸图像跨模态识别场景中均取得了很好的识别性能，具有较强的泛化能力。　　5.提出一种基于多间隔解相关学习的图像跨模态识别方法。现有的图像跨模态识别方法，由于没有考虑到图像之间的跨模态冗余信息，导致现有方法的识别精度较差。针对这一问题，提出一种基于多间隔解相关学习的图像跨模态识别算法，包括：跨模态图像的超球面空间嵌入和解相关学习。首先，采用大规模的可见光人脸数据集对跨模态表示网络进行预训练，以解决近红外-可见光人脸图像数据规模小的问题，并将图像映射到超球面表示空间;然后，在跨模态表示网络之后引入解相关层，对跨模态特征表示进行解相关学习，以减少跨模态图像之间的模态差异，并提出多间隔损失函数对网络进行优化，有效提升了近红外-可见光图像的跨模态识别精度。

关键词：图像数据跨模态重建跨模态识别深度学习

来源：评论

学校读者我要写书评

暂无评论

自适应跨模态图像—触觉信号重建关键技术研究

自适应跨模态图像—触觉信号重建关键技术研究

引用

作者：史贤玥南京邮电大学

学位级别：硕士

随着移动通信网络和各类智能传感器的飞速发展,人们对沉浸式交互体验的需求日益增长。触觉作为重要感知模态,是提升用户整体沉浸感、流畅感、参与感的关键。然而,传统的音视频传输方案无法应对突变的触觉信号和其超高的低延迟要求。因此... 详细信息

随着移动通信网络和各类智能传感器的飞速发展,人们对沉浸式交互体验的需求日益增长。触觉作为重要感知模态,是提升用户整体沉浸感、流畅感、参与感的关键。然而,传统的音视频传输方案无法应对突变的触觉信号和其超高的低延迟要求。因此,如何设计一个通用的多模态传输方案,能自适应传输过程中环境、信号的实时变化,实现对数据流的实时控制以适应各种远程操作场景是亟待解决的问题。此外,参考多模态深度学习领域研究成果,将多模态人工智能的技术融入多模态通信中,则可以在某些场景下达到传统通信领域技术难以达到的效果。基于此,本文提出了自适应的跨模态通信框架,并在框架中设计两种自适应跨模态图像—触觉信号重建方法,最后通过大量实验证明所提方法的有效性。主要包含以下三个内容:(1)完成了自适应跨模态通信框架的设计与实现。基于触觉数据量和通信网络属性两方面,根据当前通信环境自对传输方式进行自适应调整。其中包括提出跨模态压缩方案,在不损伤数据质量的情况下,利用互补模态进一步压缩数据量;其次,根据应用场景和通信网络属性,自适应调整传输优先级;最后利用第四章和第五章中提出的信号重建模型,在接收端进行跨模态信号恢复。此外,在自己搭建的远程通信场景中验证了传输框架的有效性。(2)提出了基于自编码器的自适应跨模态图像—触觉信号重建算法,可为新型多模态应用保证传输服务。在模型中,针对稀疏数据对对模型泛化的限制,从未配对的视觉和触觉领域迁移有效知识到配对模态领域。同时,挖掘不同模态的互补性和关联性实现跨模态语义一致性。其中,我们联合域对齐和特征区分学习来弥补模态间数据的高度异构,类别区分的共享语义特征可以为领域对齐提供良好的执行环境。最后,在LMT数据集和我们自己构建的跨模态数据集上,评估了提出的跨模态重建模型的有效性。同时也结合第三章提出的通信框架,验证了最后的通信体验质量。不难看出,深度学习模型与通信框架的融合可以很大程度解决传统方法面临的挑战。(3)提出了基于CGAN的自适应跨模态图像—触觉信号重建算法,可为新型多模态应用提供高质量传输服务。提出的框架包含两个模块:特征提取模块和信号生成模块。在特征提取模块中,利用基于实例权重的迁移增强方法,有效抑制负迁移的发生,进而提取有益特征。在信号生成模块中,利用两个独立的条件生成网络,将提取的特征与随机信号连接输入生成器,从而实现跨模态互生。从结果对比来看,本章提出模型的输出信号在质量上较第四章有明显提升,但在数据类别对应上不如第四章提出的模型,这也是生成对抗模型的不稳定所造成的。此外,还在实验中显式地展示了实例权重在迁移中起到的效果。

关键词：跨模态通信跨模态重建迁移学习自编码器 CGAN

来源：评论

学校读者我要写书评

暂无评论

半配对的多模态询问哈希方法

引用

电子与信息学报 2024年第2期46卷 481-491页

作者：庾骏马江涛咸阳侯瑞霞孙伟郑州轻工业大学计算机与通信工程学院郑州450000 中国林业科学研究院资源信息研究所北京100091 中国农业科学院农业信息研究所北京100081

多模态哈希能够将异构的多模态数据转化为联合的二进制编码串。由于其具有低存储成本、快速的汉明距离排序的优点,已经在大规模多媒体检索中受到了广泛的关注。现有的多模态哈希方法假设所有的询问数据都具备完整的多种模态信息以生成... 详细信息

多模态哈希能够将异构的多模态数据转化为联合的二进制编码串。由于其具有低存储成本、快速的汉明距离排序的优点,已经在大规模多媒体检索中受到了广泛的关注。现有的多模态哈希方法假设所有的询问数据都具备完整的多种模态信息以生成它们的联合哈希码。然而,实际应用中很难获得全完整的多模态信息,针对存在模态信息缺失的半配对询问场景,该文提出一种新颖的半配对询问哈希(SPQH),以解决半配对的询问样本的联合编码问题。首先,提出的方法执行投影学习和跨模态重建学习以保持多模态数据间的语义一致性。然后,标签空间的语义相似结构信息和多模态数据间的互补信息被有效地捕捉以学习判别性的哈希函数。在询问编码阶段,通过学习到的跨模态重构矩阵为未配对的样本数据补全缺失的模态特征,然后再经习得的联合哈希函数生成哈希特征。相比最先进的基线方法,在Pascal Sentence,NUS-WIDE和IAPR TC-12数据集上的平均检索精度提高了2.48%。实验结果表明该算法能够有效编码半配对的多模态询问数据,取得了优越的检索性能。

关键词：多模态信息检索哈希半配对数据跨模态重建二值化编码

来源：评论

学校读者我要写书评

暂无评论

基于生成对抗网络的医学影像重建技术

基于生成对抗网络的医学影像重建技术

引用

作者：游森榕中国科学院大学(中国科学院深圳先进技术研究院)

学位级别：硕士

在临床上,无创地呈现人体内部生理组织结构和病理信息的医学影像被广泛应用于辅助医师对疾病进行精确地分析和诊断,综合多种模态医学影像的互补信息有助于进一步提高诊断的准确度。然而,受限于物理性质、禁忌症和人力物力成本等因素,临... 详细信息

在临床上,无创地呈现人体内部生理组织结构和病理信息的医学影像被广泛应用于辅助医师对疾病进行精确地分析和诊断,综合多种模态医学影像的互补信息有助于进一步提高诊断的准确度。然而,受限于物理性质、禁忌症和人力物力成本等因素,临床上通过扫描成像获取高质量的多种模态的医学影像存在很大困难。因此,通过医学影像计算的方式重建出高质量的多模态影像受到广泛关注。相比于传统方法,现有基于深度学习的医学影像重建方法虽然提高了生成影像质量,但是仍然存在着细节纹理恢复不充分、不一致的问题。在此情况下,本文从脑部磁共振影像超分辨率重建和脑部影像跨模态重建两个方面展开研究,旨在设计具有更强细节纹理感知能力的模型。在脑部磁共振影像超分辨率重建上,本文提出一种频率并行的超分辨率模型,称为细节感知的生成对抗网络(Fine Perceptive Generator Adversarial Networks,FP-GANs),以实现对磁共振影像中纹理细节的感知和恢复。该模型基于分而治之的策略,融合小波变换和生成对抗网络,实现对脑部磁共振影像的低频成分和高频成分进行分频并行地超分辨率重建。具体而言,FP-GANs先利用小波变换将磁共振影像分解为低频全局轮廓和高频纹理细节(横向纹理、纵向纹理和对角纹理),再利用4组生成对抗网络分别对各个纹理细节进行处理。这种分别处理脑部磁共振影像中各个纹理细节的机制,有助于避免网络模型对影像中的高频纹理细节的忽略。为了进一步增强模型对细节纹理的感知性能,本文提出一种作用于小波域子带的注意力机制(子带注意力机制)。此外,本文还从小波频域和图像域两个角度设计损失函数,联合引导模型的训练、优化,使得超分重建的结构细节纹理具有更强一致性。通过在Multi Res＿7T和ADNI数据集上的实验证明,相比于对比方法,FP-GANs超分重建结果中的生理组织结构更加细致并且一致性更强。同时,分类实验证明了超分影像有助于提高阿尔茨海默症诊断准确率,这也进一步证明了模型的应用价值。在脑部影像的跨模态重建上,本文提出了一种双阶段的跨模态重建模型(Dual Stage Generator Adversarial Networks,DSGAN),以实现充分提取及解耦模态间的共享潜层特征和频率纹理特征。在第一阶段,采用基于特征金字塔的特征提取器,对源模态脑部影像中的共享多尺度特征信息进行自底向上地提取,以及自顶向下地生成初步的目标模态影像。同时,提出一种基于小波变换的联合编码,将初步目标模态影像转换为小波频域信息,并与提取的共享特征编码进行联合编码,形成从高层到低层的特征控制编码。增强了模型对源模态影像和目标模态影像间的共享多尺度特征的提取和解耦性能,并且增强了模型重建的信息。在第二阶段,采用一种基于生成对抗网络的并行渐进译码的方法,实现对联合编码进行从高层特征到低层特征的渐进译码,逐步细化目标模态影像的生成。该方式有效地增强了对目标模态影像重建过程的稳定性,避免现有方法容易生成伪影等不一致信息的问题。通过在ADNI数据集上的实验证明,提出模型比对比方法能更好地保留影像中的生理结构信息和病理信息,使得重建的影像具有更强的一致性。

关键词：医学影像超分辨率重建跨模态重建生成对抗网络小波变换

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：