深度神经网络(deep neural network,简称DNN)量化是一种高效的模型压缩方法,使用少量位宽表示模型计算过程中的参数和中间结果数据.数据位宽会直接影响内存占用、计算效率和能耗.以往的模型量化研究缺乏有效的定量分析,这导致量化损失难以预测.提出了一种超低损失的DNN量化方法(ultra-low loss quantization,简称μL2Q),以揭示量化位宽与量化损失之间的内在联系,指导量化位宽选择并降低量化损失.首先,将原始数据映射为标准正态分布的数据;然后,在等宽的量化区间中搜索最优量化参数;最后,将μL2Q方法融合进DNN的训练过程,并嵌入到主流的机器学习框架Caffe及Keras中,以支撑端到端模型压缩的设计和训练.实验结果表明,与最新的研究方法相比,在相同的位宽条件下,μL2Q方法能够保证更高的模型精度,在典型的神经网络模型上精度分别提高了1.94%,3.73%和8.24%.显著性物体检测实验结果表明,μL2Q方法能够胜任复杂的计算机视觉任务.
基于内生人工智能(AI,artificial intelligence)在大规模复杂异构网络中实现万物智联是6G的重要特征之一。联邦学习(FL,federated learning)因其数据处理本地化这一特有的机器学习架构,被认为是在6G场景中实现分布式泛在智联的重要途径,已成为6G的重要研究方向。为此,首先分析了在未来6G,特别是物联网(IoT,internet of things)场景中引入分布式AI的必要性,以此为基础论述了FL在满足相关6G指标要求的潜力,并从架构设计、资源利用、数据传输、隐私保护、服务提供角度综述了FL如何赋能6G网络,最后给出了FL赋能6G研究存在的一些关键挑战和未来有价值的研究方向。
暂无评论