基于多示例学习的乳腺病理学全切片图像识别研究

作     者：陈庆辉 

作者单位：山西大学 

学位级别：硕士

导师姓名：梁美彦

授予年度：2023年

学科分类：1001[医学-基础医学(可授医学、理学学位)] 08[工学] 080203[工学-机械设计及理论] 100104[医学-病理学与病理生理学] 0802[工学-机械工程] 10[医学] 

主      题：多示例学习 全切片图像分类 图卷积网络 门控注意力机制 双向门控循环单元 

摘      要：乳腺病理学全切片图像(Whole Slide Image,WSI)分类和病灶定位因需要充分的组织病理学上下文感知特征表示而成为计算病理学中具有挑战性的任务。鉴于WSI多尺度、尺寸大和标注困难等特点,现有算法大多基于多示例学习(Multiple Instance Learning,MIL)方法设计,因为该方法只需要图像级标签就能实现病理学WSI分类。然而,MIL方法将WSI中不同位置的图像块视为独立同分布的区域,导致现有算法无法有效利用图像块的空间位置和上下文感知信息实现WSI识别分类与病灶定位。针对上述问题,本文提出了一种基于图卷积网络注意力多示例学习(Graph Convolutional Network Attention-Based Multiple Instance Learning,ABMIL-GCN)的全切片图像识别与分类模型。该方法首先利用Res Net50提取WSI图像块的特征并构建WSI级图数据。其次利用图卷积网络模拟WSI图像块的局部、全局拓扑结构,充分保留图像块在原WSI上的空间位置和上下文信息,建立图像块特征之间的依赖关系。最后利用基于门控注意力机制的多示例池化网络量化每个图像块特征的注意力分数从而实现WSI级特征聚合和热图可视化。此外,本文还提出使用洪水优化方法(flooding)进一步优化ABMIL-GCN模型的表现,实验表明,优化后的ABMIL-GCN模型在Camelyon16测试集上的平均准确率和AUC值分别提升至90.89%和0.9149,ABMIL-GCN方法优于现有的弱监督学习算法。尽管ABMIL-GCN模型能够建立图像块之间的依赖关系,但其获取到的上下文信息受限于图卷积网络中的邻接矩阵,只能建立当前图像块与邻居图像块间的上下文依赖关系。因此,为了获得更大范围图像块的空间位置和上下文信息,本文提出一种基于双向门控循环单元注意力多示例学习(Bidirectional Gated Recurrent Unit Attention-Based Multiple Instance Learning,ABMIL-Bi GRU)的全切片图像识别与分类模型。该方法首先对WSI按行按列扫描提取图像块并使用Res Net50提取图像块特征,其次利用双向门控循环单元建立图像块行特征间和列特征间的长短距离依赖关系并进行特征拼接,从而实现更大范围图像块的空间位置和上下文感知信息嵌入。最后利用基于门控注意力机制的多示例池化网络量化每个拼接特征的注意力分数从而实现WSI级特征聚合和热图可视化。实验表明,ABMIL-Bi GRU模型在Camelyon16测试集上的平均准确率和AUC值分别达到91.86%和0.9467,在与其他方法的比较中,验证了ABMIL-Bi GRU模型的优越性。