【目的】追踪深度神经网络模型在增量学习领域的研究进展,以解决灾难性遗忘问题为切入角度对相关方法进行归纳和整理,为未来的研究提供参考。【文献范围】以“增量学习”“持续学习”和“灾难性遗忘”作为关键词,在Web of Science、谷...
详细信息
【目的】追踪深度神经网络模型在增量学习领域的研究进展,以解决灾难性遗忘问题为切入角度对相关方法进行归纳和整理,为未来的研究提供参考。【文献范围】以“增量学习”“持续学习”和“灾难性遗忘”作为关键词,在Web of Science、谷歌学术、DBLP和CNKI等数据库中进行文献检索,共筛选出105篇代表性文献。【方法】首先详细介绍增量学习的定义、核心问题及其面临的挑战,再将现有增量学习方法分为基于正则约束、基于信息存储和基于动态网络三类,总结各类别的原理、优势及代表性方法。【结果】在统一的实验设置下,对主流增量学习方法进行评测,并开源代码。实验发现,基于正则约束的方法虽高效但难以完全解决遗忘问题;基于信息存储的方法性能受保留范例数量影响较大;基于动态网络的方法虽能有效避免遗忘,但增加了计算开销。【局限】主要针对深度神经网络的增量学习进行综述,未涉及非深度学习领域的增量学习技术。【结论】在理想条件下,基于信息存储和基于动态网络的方法相较基于正则约束的方法表现出更优越的性能,这两类方法的技术复杂性可能会限制其推广应用。现有增量学习方法与联合训练相比仍有不足,需在未来的研究中予以解决。
为了改善零样本文本分类任务中无标签数据存在的类别不平衡问题,并充分发挥预训练语言模型在该任务中的推理能力,该文提出了一种自监督知识增强的零样本文本分类方法(Knowledge Enhanced Zero-shot Text Classification,KE0TC)。该方法...
详细信息
为了改善零样本文本分类任务中无标签数据存在的类别不平衡问题,并充分发挥预训练语言模型在该任务中的推理能力,该文提出了一种自监督知识增强的零样本文本分类方法(Knowledge Enhanced Zero-shot Text Classification,KE0TC)。该方法利用提示模板引导大规模预训练语言模型扩展类别标签并构建知识图谱,通过图结构进行去噪和自监督数据生成;然后,采用段落采样等方式将提取的带标签数据隐式映射到分类器的参数空间中,进而在不收集无标签训练数据的情况下实现对分类空间的建模。在三个文本分类数据集上与四个基线方法相比,KE0TC能基于较少的训练语料,以较低的耗时达到较高分类性能。
暂无评论