四元数神经网络将实值神经网络推广到了四元数代数中,其在偏振合成孔径雷达奇异点补偿、口语理解、机器人控制等任务中取得了比实值神经网络更高的精度或更快的收敛速度.四元数神经网络的性能在实验中已得到广泛验证,但四元数神经网络的理论性质及其相较于实值神经网络的优势研究较少.从表示能力的角度出发,研究四元数神经网络的理论性质及其相较于实值神经网络的优势.首先,证明了四元数神经网络使用一个非分开激活的修正线性单元(rectified linear unit,ReLU)型激活函数时的通用近似定理.其次,研究了四元数神经网络相较于实值神经网络的逼近优势.针对分开激活的ReLU型激活函数,证明了单隐层实值神经网络需要约4倍参数量才能生成与单隐层四元数神经网络相同的最大凸线性区域数.针对非分开激活的ReLU型激活函数,证明了单隐层四元数神经网络与单隐层实值神经网络间的逼近分离:四元数神经网络可用相同的隐层神经元数量与权重模长表示实值神经网络,而实值神经网络需要指数多个隐层神经元或指数大的参数才可能近似四元数神经网络.最后,模拟实验验证了理论.
暂无评论