基于模型分解的小样本学习

作     者：叶翰嘉 詹德川 Han-Jia YE;De-Chuan ZHAN

作者机构：计算机软件新技术国家重点实验室(南京大学)南京210023 

出 版 物：《中国科学：信息科学》 (Scientia Sinica(Informationis))

年 卷 期：2020年第50卷第5期

页      面：662-674页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划“大数据分析的基础理论和技术方法”(批准号:2018YFB1004300) 国家自然科学基金(批准号:61773198,61632004) 计算机软件新技术协同创新中心,南京大学优秀博士研究生创新能力提升计划项目资助 

主　　题：小样本学习 元学习 模型先验 模型分解 

摘      要：机器学习依赖大量样本的统计信息进行模型的训练,从而能对未知样本进行精准的预测.搜集样本及标记需要耗费大量的资源,因而如何基于少量样本(few-shot learning)进行模型的训练至关重要.有效的模型先验(prior)能够降低模型训练对样本的需求.本文基于元学习(meta learning)框架,从相关的、类别不同的数据中学习模型先验,并将这种先验应用于新类别的少样本任务.与此同时,本文提出模型组合先验(MCP,model composition prior)方法,通过目标函数的最优条件对模型结构进行分解,并分别估计模型的各个组成部分,得到有效的分类器.这种分解方式具有较高的可解释性,能够指导在不同小样本任务中共享与独立的成分,从而指导元学习的具体实现.在人造数据中,本文方法能够恢复出小样本任务之间的关联性;在图像数据上,MCP方法能取得比当前主流方法更优异的效果.