【目的】追踪深度神经网络模型在增量学习领域的研究进展,以解决灾难性遗忘问题为切入角度对相关方法进行归纳和整理,为未来的研究提供参考。【文献范围】以“增量学习”“持续学习”和“灾难性遗忘”作为关键词,在Web of Science、谷...
详细信息
【目的】追踪深度神经网络模型在增量学习领域的研究进展,以解决灾难性遗忘问题为切入角度对相关方法进行归纳和整理,为未来的研究提供参考。【文献范围】以“增量学习”“持续学习”和“灾难性遗忘”作为关键词,在Web of Science、谷歌学术、DBLP和CNKI等数据库中进行文献检索,共筛选出105篇代表性文献。【方法】首先详细介绍增量学习的定义、核心问题及其面临的挑战,再将现有增量学习方法分为基于正则约束、基于信息存储和基于动态网络三类,总结各类别的原理、优势及代表性方法。【结果】在统一的实验设置下,对主流增量学习方法进行评测,并开源代码。实验发现,基于正则约束的方法虽高效但难以完全解决遗忘问题;基于信息存储的方法性能受保留范例数量影响较大;基于动态网络的方法虽能有效避免遗忘,但增加了计算开销。【局限】主要针对深度神经网络的增量学习进行综述,未涉及非深度学习领域的增量学习技术。【结论】在理想条件下,基于信息存储和基于动态网络的方法相较基于正则约束的方法表现出更优越的性能,这两类方法的技术复杂性可能会限制其推广应用。现有增量学习方法与联合训练相比仍有不足,需在未来的研究中予以解决。
暂无评论