融合时空特征与时间约束的双模态乳腺肿瘤诊断

作     者：李一宸 陈大力 郭丁豪 孙羽 Li Yichen;Chen Dali;Guo Dinghao;Sun Yu

作者机构：东北大学信息科学与工程学院沈阳110819 

出 版 物：《中国图象图形学报》 (Journal of Image and Graphics)

年 卷 期：2025年第30卷第1期

页      面：268-281页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(61773104) 国家级大学生创新创业训练计划项目(202310145018) 中央高校基本科研业务专项资金资助(N2404011) 

主　　题：双模态乳腺肿瘤诊断 时空特征 时间注意力约束 对比增强超声(CEUS) B型超声(B-US) 

摘      要：目的综合考虑B型超声(B-mode ultrasound,B-US)和对比增强超声(contrast-enhanced ultrasound,CEUS)双模态信息有助于提升乳腺肿瘤诊断的准确性,从而利于提高患者生存率。然而,目前大多数模型只关注B-US的特征提取,忽视了CEUS特征的学习和双模态信息的融合处理。为解决上述问题,提出了一个融合时空特征与时间约束的双模态乳腺肿瘤诊断模型(spatio-temporal feature and temporal-constrained model,STFTCM)。方法首先,基于双模态信息的数据特点,采用异构双分支网络学习B-US和CEUS包含的时空特征。然后,设计时间注意力损失函数引导CEUS分支关注造影剂流入病灶区的时间窗口,从该窗口期内提取CEUS特征。最后,借助特征融合模块实现双分支网络之间的横向连接,通过将B-US特征作为CEUS分支补充信息的方式,完成双模态特征融合。结果在收集到的数据集上进行对比实验,STFTCM预测的正确率、敏感性、宏平均F1和AUC(area under the curve)指标均表现优秀,其中预测正确率达88.2%,领先于其他先进模型。消融实验中,时间注意力约束将模型预测正确率提升5.8%,特征融合使得模型诊断正确率相较于单分支模型至少提升2.9%。结论本文提出的STFTCM能有效地提取并融合处理B-US和CEUS双模态信息,给出准确的诊断结果。同时,时间注意力约束和特征融合模块可以显著地提升模型性能。