多斜率自适应卷积神经网络激活函数

作     者：刘海 刘波 胡瑜 LIU Hai;LIU Bo;HU Yu

作者机构：中国科学院计算技术研究所智能计算机研究中心北京100190 中国科学院大学北京100049 北京控制工程研究所北京100190 

出 版 物：《空间控制技术与应用》 (Aerospace Control and Application)

年 卷 期：2020年第46卷第3期

页      面：28-35页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划科技创新2030—“新一代人工智能”重大资助项目(2018AAA0102701) 

主　　题：激活函数 卷积神经网络 图像分类 

摘      要：针对卷积神经网络中激活函数无法有效为处于不同激活程度的像素点提供特定梯度响应的问题,设计了一种由多个分段线性函数组成的自适应激活函数.首先依据像素激活值的取值范围,自适应地生成多个独立的激活域,各个激活域的并集包含激活图中全体像素点的激活值;随后在每个激活域中学习一个特定的线性函数,为处于该激活域中的像素点提供特定的梯度响应;最后以NIN网络和ResNet18网络为例,在CIFAR-10和CIFAR-100数据集上,验证所提激活函数的性能.实验结果表明,与现有激活函数相比,本文提出的激活函数,由于能够更好地为处于不同激活程度的像素点提供适当的梯度响应,使分类准确率在NIN网络上分别达到87.96%和69.01%,在ResNet18网络上分别达到88.56%和73.54%.