结合胃镜超声和白光内镜可以更准确地识别胃肠道间质瘤.但是现有的多模态方法往往仅关注于图像特征,忽略了诊断文本信息中所包含的语义信息对于精确理解和诊断医学图像的重要性.为此,本文提出一种新的基于文本引导下的多模态医学图像分析算法框架(Text-guided Multi-modal Medical image analysis framework,TMM-Net).TMM-Net使用多阶段的诊断文本来引导模型学习,以提取图像中的关键诊断信息特征,然后通过交叉模态注意力机制促进多模态特征之间的交互.值得注意的是,TMM-Net通过预测病变属性来模拟临床诊断过程,从而增强了可解释性.验证实验在两个中心包含10 025个模态数据对的数据集上进行.结果表明,该方法相比目前最优的GISTs诊断方法精度提升7.7%,同时获得了最高的(Area Under the Curve,AUC)值:0.927,其可解释性可以更好地适合临床需求.
针对现有合成孔径雷达(SAR)图像数据生成方法大多无法同时生成舰船图像及其检测标签的问题,面向SAR舰船图像生成及目标检测任务,构建基于位置信息的条件生成对抗网络(PCGAN).首先,提出将舰船位置信息作为约束条件用于限制生成图像中舰船的位置,并将其作为舰船图像的检测标签;随后,引入Wasserstein距离稳定PCGAN的训练过程;最后,利用生成的SAR舰船图像及对应检测标签完成YOLOv3网络的端到端训练,实现舰船数据增强与目标检测的协同学习,进而获得更耦合目标检测实际应用的多样性数据.在HRSID(high resolution SAR image dataset)数据集上的实验结果表明,PCGAN方法能生成清晰、鲁棒的SAR舰船数据,舰船检测准确度最高提升1.01%,验证了所提出方法的有效性.
暂无评论