卷积神经网络已在多个领域取得了优异的性能表现,然而由于其不透明的内部状态,其可解释性依然面临很大的挑战.其中一个原因是卷积神经网络以像素级特征为输入,逐层地抽取高级别特征,然而这些高层特征依然十分抽象,人类不能直观理解.为了解决这一问题,我们需要表征出网络中隐藏的人类可理解的语义概念.本文通过预先定义语义概念数据集(例如红色、条纹、斑点、狗),得到这些语义在网络某一层的特征图,将这些特征图作为数据,训练一个张量分类器.我们将与分界面正交的张量称为语义激活张量(Semantic Activation Tensors,SATs),每个SAT都指向对应的语义概念.相对于向量分类器,张量分类器可以保留张量数据的原始结构.在卷积网络中,每个特征图中都包含了位置信息和通道信息,如果将其简单地展开成向量形式,这会破坏其结构信息,导致最终分类精度的降低.本文使用SAT与网络梯度的内积来量化语义对分类结果的重要程度,此方法称为TSAT(Testing with SATs).例如,条纹对斑马的预测结果有多大影响.本文以图像分类网络作为解释对象,数据集选取ImageNet,在ResNet50和Inceptionv3两种网络架构上进行实验验证.最终实验结果表明,本文所采用的张量分类方法相较于传统的向量分类方法,在数据维度较大或数据不易区分的情况下,分类精度有显著的提高,且分类的稳定性也更加优秀.这从而保证了本文所推导出的语义激活张量更加准确,进一步确保了后续语义概念重要性量化的准确性.
随着万物互联时代的到来,具备目标检测能力的物联网设备数量呈爆炸式增长。基于此,网络边缘产生了海量的实时数据,具有低时延、低带宽成本和高安全性特点的边缘计算随之成为一种新兴的计算模式。传统的深度学习方法通常假定在模型训练前所有数据已完全具备,然而实际的边缘计算场景中大量的新数据及类别往往随时间逐渐产生和获得。为了在训练数据成批积累和更新的条件下在资源有限的边缘设备上高效率地完成目标检测任务,本文提出了基于多中间层知识蒸馏的增量学习方法(incremental learning method based on knowledge distillation of multiple intermediate layers,ILMIL)。首先,为了能够适当地保留原有数据中的知识,提出了包含多个网络中间层知识的蒸馏指标(multi-layer feature map RPN and RCN knowledge,MFRRK)。ILMIL将教师模型和学生模型的中间层特征的差异加入模型训练,相比于现有的基于知识蒸馏方法的增量学习,采用ILMIL方法训练的学生模型可以从教师模型的中间层学习到更多的旧类信息来缓解遗忘。其次,ILMIL利用MFRRK蒸馏知识完成现有模型的增量训练,避免训练使用多个独立模型带来的资源开销;为进一步降低模型复杂度以高效地在边缘设备上部署推理,可在知识蒸馏前进行剪枝操作来压缩现有模型。在不同场景和条件下的实验对比表明,本文方法可在有效降低模型计算和存储开销的前提下,缓解已有知识的灾难性遗忘现象,并维持可接受的推理精度。
暂无评论