联邦学习通信优化方法综述

作     者：杨智凯 刘亚萍 张硕 孙哲 严定宇 YANG Zhikai;LIU Yaping;ZHANG Shuo;SUN Zhe;YAN Dingyu

作者机构：广州大学网络空间安全学院广东广州510006 可信分布式计算与服务教育部重点实验室(北京邮电大学)北京100876 

出 版 物：《网络与信息安全学报》 (Chinese Journal of Network and Information Security)

年 卷 期：2024年第10卷第6期

页      面：1-23页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(62372124) 广东省重点领域研发计划(2019B010137005) 

主　　题：联邦学习 边缘计算 通信优化 模型压缩 

摘      要：随着以深度学习为代表的人工智能技术的发展和普及,其不断暴露的安全问题已经成为影响网络空间安全的巨大挑战。传统的以云为中心的分布式机器学习通过收集参与方的数据来训练模型或优化模型表现,在数据交换过程中容易受到安全攻击和隐私攻击等网络安全风险的影响,进而造成整体系统效能下降或隐私数据泄露等后果。联邦学习作为一种具有隐私保护能力的分布式机器学习模式,通过客户端与参数服务器的频繁通信进行模型参数交换,在原始数据不离开本地的情况下训练联合模型,这极大降低了隐私数据泄露风险,在一定程度上保证了数据安全。但是随着深度学习模型的规模越来越大,联邦学习任务越来越复杂,通信开销也逐渐增加,最终成为联邦学习应用落地的阻碍。因此,针对联邦学习通信优化方法的探索成为联邦学习研究中的热点。介绍了联邦学习的技术背景和工作流程、分析了其通信瓶颈的来源和造成的影响。根据影响通信效率的因素,从模型参数压缩、模型更新策略、系统架构和通信协议等优化目标对现有联邦学习通信优化方法进行全面梳理和分析,并给出了该研究领域的发展脉络。最后总结了现有联邦学习通信优化方法所面临的问题,并对未来的发展趋势与研究方向进行展望。