近年来,各式智能终端随处可见,网络边缘产生了大量数据。传统的机器学习将多个设备的数据收集到中心服务器进行模型的训练,可以有效地利用不同设备的数据,从而训练出高准确率的预测模型。但是在海量设备参与的情况下,此种收集数据的集中式学习模式的通信代价很大,而且也存在数据隐私泄露的隐患。不同于集中式学习,联邦学习采用多个设备共同训练同一个模型。各个分布式设备只将训练好的模型参数传递给中心服务器,而原始数据保留在本地。中心服务器则将所有分布式设备的模型进行平均再反馈给各个分布式设备。通过模型参数的协作学习与共享(协作计算),联邦学习可以实现低时延的实时预测(本地执行预测)和模型训练的边缘化(个人数据隐私保护)。但是,当参与设备的数目过多或模型参数维度过高时,分布式设备之间的通信问题依然是联邦学习的瓶颈。考虑到联邦学习关注所有设备更新的平均值而非单个设备的更新值,采用空中计算技术来传输设备的更新值更有利于节省通信带宽。空中计算技术是一种基于模拟聚合通信的传输技术,其允许多个设备使用相同的时频资源同时上传它们的更新,在接收端直接得到聚合值而非单体值。将空中计算技术与联邦学习相结合可以提升通信效率,但在理论分析、参数优化以及实际场景应用方面还存在着不限于以下问题尚未得到探索与解决:(1)空中计算技术涉及的模拟聚合传输对联邦学习性能影响的定量化描述问题,即模拟聚合通信与联邦学习之间的关系缺乏理论分析;(2)通信与学习联合优化问题,即相关的研究工作仅将通信和学习独立优化,并未考虑通信和学习两个过程的联合优化;(3)基于压缩感知技术的通信效率提高问题,即相关的研究工作在利用模拟聚合传输信号时一般采用的是发送全部内容,利用压缩感知技术来进一步提升通信效率的研究尚不充分;(4)恶意攻击场景中的鲁棒性增强问题,即相关的研究工作未考虑恶意用户的存在。针对上述不足,本文针对基于空中计算技术的联邦学习(Federated Learning Over the Air,FLOA)中数据、学习以及通信所涉及的问题,以提升学习算法的准确性、高效性和鲁棒性为导向,首先推导模拟聚合通信对FLOA影响的定量化描述的理论结果,而后从带宽资源、通信效率以及对抗恶意攻击等三个方面提出解决方案。采用统计理论分析、建模和优化理论等数学方法,研究联邦学习和无线通信的联合优化方案,为通信高效的、鲁棒性增强的、隐私保护的联邦学习的推广与应用提供坚实保障。具体而言,本文主要研究内容和创新性成果总结如下:1.推导FLOA系统中的传输对学习性能影响的定量化描述的理论结果。当前已有的研究工作将模拟聚合传输和计算学习进行独立优化设计,缺少两者的联合优化。这是因为模拟聚合通信对FLOA的影响尚不明确,导致无法将通信和学习过程联系起来。因此,本文通过推导FLOA在不同假设(如凸、非凸目标函数)下的闭合式收敛速率期望表达式,给出模拟聚合通信与联邦学习关系的定量化描述,其不仅揭示而且量化无线通信对联邦学习的收敛性和准确性的具体影响,为传算联合优化算法提供理论基础。2.提出一个基于计算收敛性的FLOA系统的传算联合优化框架。本文从问题制定、解决方案开发和算法实现的角度对FLOA进行全面研究,形成一个传算联合优化理论与方法框架。具体而言,借助模拟聚合通信与联邦学习关系的定量化描述的理论结果,本文首先建立一个学习、设备选择和功率控制的联合优化问题;接着,本文提出一种替代性的问题重构方法,将原始无法实现的优化问题近似为模拟聚合操作约束下的可行优化问题;最后,通过探索设备数量与功率缩放之间的关系,本文确定一个紧密的解空间,从而提出一种简单的离散枚举方法来有效地找到优化问题的全局最优解。3.提出一个基于1比特压缩感知的高效的FLOA方案。虽然模拟聚合通信可以减少带宽消耗,但其通信量依然与神经网络模型参数数目成正比。因此,本文引入1比特压缩感知来进一步提高FLOA的通信效率。具体而言,本文首先提出一个集稀疏化、降维、量化、模拟聚合传输和信号重建为一体的高效FLOA方案;接着,本文推导出所提方案的期望收敛行为的闭式表达式,其可衡量由稀疏化、降维、量化、信号重建和加性高斯白噪声引起的聚合误差导致的性能折衷;进而在上述理论结果的指导下,本文建立传算联合优化问题,以优化设备选择和功率控制来减轻聚合错误;最后,为解决此非凸优化问题,本文分别针对小型网络和大型网络场景提出两种解决方案:基于枚举的方法和交替乘子方向法。4.提出一个基于功率控制的鲁棒的FLOA方案。由于模拟聚合通信仅能得到设备更新的平均值而无法得到每个设备的单个更新,一些恶意节点会利用这一特点进行拜占庭攻击使得学习算法瘫痪,而且服务器无法检测出恶意节点。因此,本文提出一种最大努力投票机制,从功率控制角度来对抗拜占庭攻击。具体而言,本文首先分析恶意节点的行为对FLOA的影响
暂无评论