基于深度神经网络的分类模型在许多领域的任务中效果显著。然而,对于在某任务上训练好的模型,如果使其对一些新类别的数据进行学习,此模型对旧类别数据的识别能力会大幅下降,即模型产生灾难性遗忘。类增量学习旨在克服灾难性遗忘,使分类模型可以动态地对新类别数据进行学习,前提是训练时不使用或者只使用远少于旧数据总量的少量旧类别数据,并且训练后的模型能够为目前见过的所有类别进行有效分类。为了使深度模型能够适应类增量学习的模式,克服灾难性遗忘并尽可能提高分类准确率,本文提出了基于知识蒸馏和无偏预测的类增量学习算法(ClassIncremental Learning via Knowledge Distillation and Impartial prediction,KDIP),针对范例集数据选择策略,增量训练过程中的旧知识保留,克服预测偏倚等关键问题设计了三个子算法,主要内容如下:(1)提出了一种基于最大干扰优先原则的范例集选取算法。借鉴难例挖掘的思想,在构造范例集时选择了在模型更新前后遗忘最严重的样本,即受干扰最大的样本,在后续的增量训练阶段对这些样本的反复学习有利于最大限度地克服灾难性遗忘。(2)提出了一种基于知识蒸馏的增量训练算法。充分挖掘旧模型中的知识,并通过知识蒸馏迁移到新模型当中。对于新旧模型的预测结果,使用余弦相似度进行度量后再进行知识蒸馏;对于新、旧模型对同一样本提取的特征向量,最大化两者的相似度以获取模型表征的不变性;增大训练样本与其他类别的类嵌入在特征空间中的距离,降低样本被误分类的概率。(3)提出了一种基于去动量效应的无偏预测算法。分析了类增量学习中的预测偏倚问题,通过计算模型在空输入条件下的纯偏倚效应,在预测结果中除去纯偏倚效应带来的影响从而得到无偏预测结果,提高增量训练阶段在非均衡数据集上的分类准确率。在本领域常用的公开数据集和实测雷达信号数据集上,分别对本文提出的KDIP算法进行了实验。在CIFAR100、Image Net-Subset和Image Net-Full三个公开数据集上的实验结果表明,与该领域基准算法以及近几年性能最好的算法相比,在使用相同的基础网络及参数设置的情况下,KDIP算法可以在多数数据集上取得更高的分类准确率。在实测雷达信号数据集上的实验结果表明,将KDIP算法应用在雷达辐射源个体识别领域,以类增量学习的模式完成雷达信号分类器的训练任务是切实可行的。在仅保存每个类别很少量的旧类别数据的情况下,使用KDIP算法训练得到的模型比起专家模型的分类性能下降很小,并且可以节省大量的时间和存储资源。
暂无评论