高维数据中鲁棒激活函数的极端学习机及线性降维

作     者：冯林 刘胜蓝 张晶 王辉兵 Feng Lin;Liu Shenglan;Zhang Jing;Wang Huibing

作者机构：大连理工大学电子信息与电气工程学部计算机科学与技术学院辽宁大连116024 大连理工大学创新实验学院辽宁大连116024 

出 版 物：《计算机研究与发展》 (Journal of Computer Research and Development)

年 卷 期：2014年第51卷第6期

页      面：1331-1340页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(61173163 51105052) 辽宁省自然科学基金项目(201102037) 

主　　题：极端学习机 线性降维 鲁棒激活函数 高维数据 神经网络 

摘      要：极端学习机(extreme learning machine,ELM)训练速度快、分类率高,已经广泛应用于人脸识别等实际问题中,并取得了较好的效果.但实际问题中的数据往往维数较高,且经常带有噪声及离群点,降低了ELM算法的分类率.这主要是由于:1)输入样本维数过高;2)激活函数选取不当.以上两点使激活函数的输出值趋于零,最终降低了ELM算法的性能.针对第1个问题,提出一种鲁棒的线性降维方法(RAF-global embedding,RAF-GE)预处理高维数据,再通过ELM算法对数据进行分类;而对第2个问题,深入分析不同激活函数的性质,提出一种鲁棒激活函数(robust activation function,RAF),该激活函数可尽量避免激活函数的输出值趋于零,提升RAF-GE及ELM算法的性能.实验证实人脸识别方法的性能普遍优于使用其他激活函数的对比方法.