联邦学习统计异质性综述

作     者：俞浩 范菁 孙伊航 董华 郗恩康 

作者机构：云南民族大学电气信息工程学院 云南省无人自主系统重点实验室(云南民族大学) 云南省高校信息与通信安全灾备重点实验室(云南民族大学) 

出 版 物：《计算机应用》 (Journal of Computer Applications)

年 卷 期：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(61540063) 教育部人文社会科学研究青年基金资助项目(20YJCZH129) 云南省吴中海专家工作站项目(202305AF150045) 云南省教育厅科学研究基金资助项目(2023Y0499) 云南民族大学硕士研究生科研创新基金项目(2022SKY004) 

主　　题：联邦学习 统计异质性 客户端漂移 分布式学习 非独立同分布 

摘      要：联邦学习是一种强调隐私保护的分布式机器学习框架，但在应对统计异质性问题时面临显著挑战。统计异质性源于参与节点间的数据分布差异，可能导致模型更新偏差、全局模型性能下降以及收敛不稳定。针对上述问题，详细分析了统计异质性带来的主要问题，包括特征分布不一致、标签分布不均衡、数据量不对称及数据质量参差不齐等，并对现有的解决方案进行了系统综述。这些方案包括局部校正、聚类方法、客户端选择优化、聚合策略调整、数据共享、知识蒸馏及解耦优化等，并逐一评估它们的优缺点与适用场景。此外，探讨了未来研究方向，如设备计算能力感知、模型异构适应、隐私安全机制的优化及跨任务迁移能力的提升，为应对实际应用中的统计异质性提供了参考。