版权所有：内蒙古大学图书馆 技术提供：维普资讯• 智图
内蒙古自治区呼和浩特市赛罕区大学西街235号 邮编: 010021
一种基于元学习的领域增量方法
专利申请号：CN202011186818.9
公 开 号：CN112308211A
代 理 人：刘兆庆
代理机构：35224 厦门致群财富专利代理事务所(普通合伙)
专利类型：发明专利
申 请 日：20210202
公 开 日：20201029
专利主分类号：G06N3/04(20060101)
关 键 词：分类知识 训练模型 记忆数据 数据存储 损失函数 蒸馏损失 交叉熵 新领域 新数据 构建 学习 微调 保留 联合
摘 要：本发明公开了一种基于元学习的领域增量方法，包括如下步骤：S1、构建预训练模型；S2、用预训练模型训练旧模型；S3、训练新模型。本发明采用随机保留的5％的记忆数据和新数据混合微调训练新模型，同时还采用交叉熵损失函数和知识蒸馏损失函数联合指导新模型的学习，使其在记住旧领域的分类知识的同时，学习新领域数据的分类知识，大大减少数据存储和训练时间的开销。
