【目的】追踪深度神经网络模型在增量学习领域的研究进展,以解决灾难性遗忘问题为切入角度对相关方法进行归纳和整理,为未来的研究提供参考。【文献范围】以“增量学习”“持续学习”和“灾难性遗忘”作为关键词,在Web of Science、谷...
详细信息
【目的】追踪深度神经网络模型在增量学习领域的研究进展,以解决灾难性遗忘问题为切入角度对相关方法进行归纳和整理,为未来的研究提供参考。【文献范围】以“增量学习”“持续学习”和“灾难性遗忘”作为关键词,在Web of Science、谷歌学术、DBLP和CNKI等数据库中进行文献检索,共筛选出105篇代表性文献。【方法】首先详细介绍增量学习的定义、核心问题及其面临的挑战,再将现有增量学习方法分为基于正则约束、基于信息存储和基于动态网络三类,总结各类别的原理、优势及代表性方法。【结果】在统一的实验设置下,对主流增量学习方法进行评测,并开源代码。实验发现,基于正则约束的方法虽高效但难以完全解决遗忘问题;基于信息存储的方法性能受保留范例数量影响较大;基于动态网络的方法虽能有效避免遗忘,但增加了计算开销。【局限】主要针对深度神经网络的增量学习进行综述,未涉及非深度学习领域的增量学习技术。【结论】在理想条件下,基于信息存储和基于动态网络的方法相较基于正则约束的方法表现出更优越的性能,这两类方法的技术复杂性可能会限制其推广应用。现有增量学习方法与联合训练相比仍有不足,需在未来的研究中予以解决。
卷积神经网络已在多个领域取得了优异的性能表现,然而由于其不透明的内部状态,其可解释性依然面临很大的挑战.其中一个原因是卷积神经网络以像素级特征为输入,逐层地抽取高级别特征,然而这些高层特征依然十分抽象,人类不能直观理解.为了解决这一问题,我们需要表征出网络中隐藏的人类可理解的语义概念.本文通过预先定义语义概念数据集(例如红色、条纹、斑点、狗),得到这些语义在网络某一层的特征图,将这些特征图作为数据,训练一个张量分类器.我们将与分界面正交的张量称为语义激活张量(Semantic Activation Tensors,SATs),每个SAT都指向对应的语义概念.相对于向量分类器,张量分类器可以保留张量数据的原始结构.在卷积网络中,每个特征图中都包含了位置信息和通道信息,如果将其简单地展开成向量形式,这会破坏其结构信息,导致最终分类精度的降低.本文使用SAT与网络梯度的内积来量化语义对分类结果的重要程度,此方法称为TSAT(Testing with SATs).例如,条纹对斑马的预测结果有多大影响.本文以图像分类网络作为解释对象,数据集选取ImageNet,在ResNet50和Inceptionv3两种网络架构上进行实验验证.最终实验结果表明,本文所采用的张量分类方法相较于传统的向量分类方法,在数据维度较大或数据不易区分的情况下,分类精度有显著的提高,且分类的稳定性也更加优秀.这从而保证了本文所推导出的语义激活张量更加准确,进一步确保了后续语义概念重要性量化的准确性.
暂无评论