目的结肠镜技术在结肠息肉的早期检测中至关重要,但其依赖于操作员的专业技能和主观判断,因此存在局限性。现有的结肠息肉图像分割方法通常采用额外层和显式扩展网络结构,导致模型效率较低。此外,由于息肉与其周围粘膜之间的边界不清晰,现有模型对于息肉边界的分割效果并不理想。方法提出了一种端到端的自知识蒸馏框架,专门用于结肠息肉图像分割。该框架将边界分割网络和息肉分割网络整合到一个统一的知识蒸馏框架中,以相互增强两个网络的性能。该框架采用专注于边界分割的模型作为教师网络,将息肉分割模型作为学生网络,两者共享一个特征提取模块,以促进更有效的知识传递。设计了一种反向特征融合结构,通过上采样和矩阵乘法聚合编码器深层特征,并利用反向浅层特征作为辅助信息,从而获得分割掩膜的全局映射。结果通过在CVC-Clinic DB(colonoscopy videos challenge-clinicdatabase)、CVC-Colon DB(colonoscopy videos challenge-colondatabase)、Kvasir以及HAM10000(human against machine with 10000 training images)4个数据集上开展实验,与当前11种先进方法Pra Net(parallel reverse attention network)和Polyp2Former(boundary guided network based on transformer for polyp segmentation)等进行比较,实验结果表明本文模型表现最佳,Dice相似性系数(Dice similarity coefficient,DSC)和平均交并比(mean intersection over union,m Io U)指标分别比现有最优模型提升了0.45%和0.68%。结论本文模型适用于各种尺寸和形状的息肉分割,实现了准确的边界提取,并且具有推广到其他医学图像分割任务的潜力。本文代码可在https://***/xiaoxiaotuo/BA-KD下载。
目的从单幅影像中估计景深已成为计算机视觉研究热点之一,现有方法常通过提高网络的复杂度回归深度,增加了数据的训练成本及时间复杂度,为此提出一种面向单目深度估计的多层次感知条件随机场模型。方法采用自适应混合金字塔特征融合策略,捕获图像中不同位置间的短距离和长距离依赖关系,从而有效聚合全局和局部上下文信息,实现信息的高效传递。引入条件随机场解码机制,以此精细捕捉像素间的空间依赖关系。结合动态缩放注意力机制增强对不同图像区域间依赖关系的感知能力,引入偏置学习单元模块避免网络陷入极端值问题,保证模型的稳定性。针对不同特征模态间的交互情况,通过层次感知适配器扩展特征映射维度增强空间和通道交互性能,提高模型的特征学习能力。结果在NYU Depth v2(New York University depth dataset version 2)数据集上进行消融实验,结果表明,本文网络可以显著提高性能指标,相较于对比的先进方法,绝对相对误差(absolute relative error,Abs Rel)减小至0.1以内,降低7.4%,均方根误差(root mean square error,RMSE)降低5.4%。为验证模型在真实道路环境中的实用性,在KITTI(Karlsruhe Institute of Technology and Toyota Technological Institute at Chicago)数据集上进行对比实验,上述指标均优于对比的主流方法,其中RMSE降低3.1%,阈值(δ<1.25^(2),δ<1.25^(3))准确度接近100%,此外,在MatterPort3D数据集上验证了模型的泛化性。从可视化实验结果看,在复杂环境下本文方法可以更好地估计困难区域的深度。结论本文采用多层次特征提取器及混合金字塔特征融合策略,优化了信息在编码器和解码器间的传递过程,通过全连接解码获取像素级别的输出,能够有效提高单目深度估计精度。
暂无评论