检索结果-内蒙古大学图书馆

软件学报 2024年第12期35卷 5725-5740页

作者：张瑞麟杜晋华尹浩清华大学计算机科学与技术系北京100084 清华大学北京信息科学与技术国家研究中心北京100084

联邦学习是一种新型的分布式机器学习范式,它在满足用户隐私和数据保密性要求的前提下,充分利用众多分散客户端的计算能力及其本地数据联合训练机器学习模型.在跨设备联邦学习场景下,客户端通常由数千甚至万级别的移动设备或端侧设备组... 详细信息

联邦学习是一种新型的分布式机器学习范式,它在满足用户隐私和数据保密性要求的前提下,充分利用众多分散客户端的计算能力及其本地数据联合训练机器学习模型.在跨设备联邦学习场景下,客户端通常由数千甚至万级别的移动设备或端侧设备组成,由于通信和计算成本的限制,聚合服务器在每个训练轮次中仅选择少量客户端加入训练.几种被广泛应用的联邦优化算法均采用完全随机的客户端选择算法,但这被证明有着很大的优化空间.近年来,如何高效可靠地从海量异构客户端中选择合适的集合参与训练,以优化联邦学习协议的资源消耗和模型性能被广泛研究,但仍没有文献对这一关键问题进行综合调研.需要对跨设备联邦学习的客户端选择算法研究进行全面调研.具体地,形式化描述客户端选择问题,然后给出对选择算法的分类并逐一深入讨论分析.最后,讨论客户端选择算法的一些未来研究方向.

关键词：跨设备联邦学习客户端选择组合优化效用理论

来源：评论

学校读者我要写书评

暂无评论

基于模型相似度与本地损失的双重客户端选择算法

引用

计算机工程 2024年第8期50卷 153-164页

作者：李红娇王宝金王朝晖胡仁豪上海电力大学计算机科学与技术学院上海201306

联邦学习是一种分布式机器学习技术,通过聚合客户端本地模型参数共建全局模型。现有的联邦学习客户端选择算法作用于训练前或者训练后。面对统计异质的客户端数据,训练前选择算法会使一些性能较差的客户端参与聚合,导致模型的准确率下... 详细信息

联邦学习是一种分布式机器学习技术,通过聚合客户端本地模型参数共建全局模型。现有的联邦学习客户端选择算法作用于训练前或者训练后。面对统计异质的客户端数据,训练前选择算法会使一些性能较差的客户端参与聚合,导致模型的准确率下降。而训练后选择算法要求所有客户端参与训练,需要大量的通信开销。为此,提出双重客户端选择(DCS)算法,在训练前选择1个客户端训练子集,以减少全局模型的下发,在子集训练后选择部分客户端参与聚合,以减少本地模型的上传。在本地训练前,服务器根据本地与全局模型的余弦相似度进行层次聚类,得到不同的选择概率分布,从中选出无偏的训练子集,以便更好地适应客户端数据的统计异质性。在子集训练后,服务器不仅考虑了本地损失,还结合了本地与全局模型的余弦相似度筛选出聚合子集,提高全局模型准确率。在Fashion-MNIST和CIFAR-10数据集上的实验结果表明,DCS算法相比于基线算法的测试准确率最大可提升8.55个百分点,同时上行和下行链路的通信开销分别为O(mn+2d)和O(dn+m)。

关键词：联邦学习客户端选择模拟相似度聚类本地损失

来源：评论

学校读者我要写书评

暂无评论

资源高效的聚类协同联邦学习客户端选择方法

引用

吉林大学学报(工学版) 2024年

作者：李强张凌羽孟祥宇吉林大学计算机科学与技术学院

联邦学习的一个关键问题就是各客户端的资源异构性和数据异构性。为此提出了资源高效的聚类协同联邦学习客户端选择方法，根据各客户端的计算能力将其分组，在每轮训练中以每组客户端的平均准确率作为间接度量选择同组客户端，在每组内... 详细信息

联邦学习的一个关键问题就是各客户端的资源异构性和数据异构性。为此提出了资源高效的聚类协同联邦学习客户端选择方法，根据各客户端的计算能力将其分组，在每轮训练中以每组客户端的平均准确率作为间接度量选择同组客户端，在每组内根据各客户端的模型相似度将客户端进行聚类，选择每组内不同聚类中的客户端。我们在真实数据集上评估了本方法的性能，实验结果表明本方法可以减少全局训练时间，获得更快速、更平滑的收敛，实现训练效率和全局模型准确率之间的良好平衡。

关键词：计算机系统结构联邦学习客户端选择聚类资源异构数据异构

来源：评论

学校读者我要写书评

暂无评论

基于本地模型质量的客户端选择方法

引用

计算机工程 2023年第6期49卷 131-143页

作者：温依霖赵乃良曾艳韩猛岳鲁鹏张纪林杭州电子科技大学计算机学院杭州310018 杭州电子科技大学复杂系统建模与仿真教育部重点实验室杭州310018 数据安全治理浙江省工程研究中心杭州310018

联邦学习是一种针对数据分布于多个客户端的环境下,客户端共同协作训练模型的分布式机器学习方法。在理想情况下全部客户端均参与每轮训练,但是实际应用中只随机选择一部分客户端参与。随机选择的客户端通常不能全面反映全局数据分布特... 详细信息

联邦学习是一种针对数据分布于多个客户端的环境下,客户端共同协作训练模型的分布式机器学习方法。在理想情况下全部客户端均参与每轮训练,但是实际应用中只随机选择一部分客户端参与。随机选择的客户端通常不能全面反映全局数据分布特征,导致全局模型训练效率和模型精度降低。为此,提出一种基于本地模型质量的客户端选择方法ChFL。分析影响模型精度和收敛速度的重要因素,提取可反映客户端模型质量的损失值和训练时间2个重要指标。通过对本地损失值和训练时间融合建模,用于评估客户端模型质量。在此基础上,基于客户端质量指导客户端选择,同时与随机选择策略进行一定比例的结合,以提高全局模型精度。通过选择具有高质量的数据且计算性能较优的客户端参与训练,提升模型精度并加快收敛速度。在FEMNIST、CIFAR-10、MNIST、CINIC-10和EMNIST数据集上的实验结果表明,相比3种基线算法FedAvg、FedProx、FedNova,将ChFL与基线算法相结合后的收敛速度平均加快约10%,准确率平均提高4个百分点。

关键词：联邦学习数据异构损失值训练时间客户端选择

来源：评论

学校读者我要写书评

暂无评论

基于标签分类的联邦学习客户端选择方法

引用

计算机应用 2024年第12期44卷 3759-3765页

作者：张祖篡陈学斌高瑞邹元怀华北理工大学理学院河北唐山063210 河北省数据科学与应用重点实验室(华北理工大学) 河北唐山063210 唐山市数据科学重点实验室(华北理工大学) 河北唐山063210

联邦学习作为一种分布式的机器学习方法,在保护数据隐私的同时可以充分挖掘数据中的价值;然而传统的联邦学习训练方法只是随机选择参与客户端,难以适应非独立同分布(Non-IID)数据集。针对Non-IID数据下联邦学习模型精度低、收敛慢等问题... 详细信息

联邦学习作为一种分布式的机器学习方法,在保护数据隐私的同时可以充分挖掘数据中的价值;然而传统的联邦学习训练方法只是随机选择参与客户端,难以适应非独立同分布(Non-IID)数据集。针对Non-IID数据下联邦学习模型精度低、收敛慢等问题,提出一种基于标签分类的联邦学习客户端选择方法(FedLCCS)。首先,按照频数统计结果分类排序客户端数据集标签;其次,选择拥有高频数标签的客户端参与训练;最后,通过调节自有参数获取不同精度的模型。在MNIST、Fashion-MNIST和Cifar-10数据集上的实验结果表明,结合FedLCCS后的联邦平均(FedAvg)和联邦近端优化(FedProx)这2种基线方法相较于原始方法在初始数据集标签选择比例下的准确率至少提高了9.13和6.53个百分点,收敛速度至少提升了57.41%和18.52%,运行时间至少降低了7.60%和17.62%。以上验证了FedLCCS可以优化联邦模型的精度、收敛速度和运行效率,且能够训练不同准确率的模型以应对多样化的需求。

关键词：联邦学习非独立同分布客户端选择频数统计分类排序

来源：评论

学校读者我要写书评

暂无评论

基于背包模型的联邦学习客户端选择方法

引用

物联网学报 2022年第4期6卷 158-168页

作者：郭佳慧陈卓越高玮王玺钧孙兴华高林中山大学广东广州510006 哈尔滨工业大学(深圳) 广东深圳518055

近年来,为了打破数据“壁垒”,联邦学习被广泛关注。联邦学习不需要客户端上传原始数据就能完成模型训练,保护了用户的隐私。针对客户端设备具有异构性的问题,考虑各个客户端对加速全局模型收敛的贡献程度和系统的通信开销,以最大化客... 详细信息

近年来,为了打破数据“壁垒”,联邦学习被广泛关注。联邦学习不需要客户端上传原始数据就能完成模型训练,保护了用户的隐私。针对客户端设备具有异构性的问题,考虑各个客户端对加速全局模型收敛的贡献程度和系统的通信开销,以最大化客户端在本地训练模型的权重变化量为优化目标,解决在一定系统训练周期下的联邦学习中的客户端选择优化问题。由此,提出了两个基于背包模型的联邦学习协议,分别是Offline KP-FL协议和Online KP-FL协议。Offline KP-FL协议基于离线背包模型选择合适的客户端参与全局模型的聚合更新。为了降低Offline KP-FL协议的复杂度,进一步基于在线背包模型选择用户提出了Online KP-FL协议。通过仿真发现,在特定情况下Offline KP-FL协议有更高的收敛速度,优于之前提出的方法。而与Offline KP-FL协议和Fed CS协议相比,Online KP-FL协议下,系统不仅每轮选择更少的用户,而且能够在Fed CS协议所需时间的64.1%内完成模型训练,使全局模型达到相同精度。

关键词：联邦学习客户端选择背包模型

来源：评论

学校读者我要写书评

暂无评论

基于欧几里得距离的客户端选择联邦学习方案

引用

建模与仿真 2025年第4期14卷 1200-1211页

作者：邬淑敏刘亚上海理工大学光电信息与计算机工程学院上海

联邦学习(Federated Learning)作为一种先进的分布式机器学习框架,它允许多个参与者在各自数据不出本地的前提下,协同开展模型训练工作,保护数据隐私。然而,传统联邦学习在实际应用中存在数据异质性影响联邦学习系统的效率和收敛性,限... 详细信息

联邦学习(Federated Learning)作为一种先进的分布式机器学习框架,它允许多个参与者在各自数据不出本地的前提下,协同开展模型训练工作,保护数据隐私。然而,传统联邦学习在实际应用中存在数据异质性影响联邦学习系统的效率和收敛性,限制其广泛应用。针对上述问题,本文提出了ECS-FL(Euclid-ean-Based Client Selection in Federated Learning)框架。该框架融入基于欧几里得距离的客户端选择机制,通过依据客户端模型更新与全局模型的相似度来筛选客户端,有效应对了客户端差异与数据异质性带来的挑战,显著降低了模型训练过程中的偏差,大幅提升了模型的鲁棒性。在独立同分布和非独立同分布数据分布环境下开展的大量实验结果表明,ECS-FL框架能够切实有效地改善模型的收敛性、鲁棒性与准确性。

关键词：联邦学习安全聚合客户端选择隐私保护机器学习

来源：评论

学校读者我要写书评

暂无评论

面向异构场景的联邦学习客户端选择方法

面向异构场景的联邦学习客户端选择方法

引用

作者：张凌羽吉林大学

学位级别：硕士

在大数据时代的背景下,各类智能电子设备每天都在产生大量数据,各类数据的规模和类型在不断增加,人工智能技术因此得以飞速发展。然而如何保证数据安全和用户隐私已成为如今人工智能技术的一大挑战。面对这一挑战,谷歌提出了联邦学习这... 详细信息

在大数据时代的背景下,各类智能电子设备每天都在产生大量数据,各类数据的规模和类型在不断增加,人工智能技术因此得以飞速发展。然而如何保证数据安全和用户隐私已成为如今人工智能技术的一大挑战。面对这一挑战,谷歌提出了联邦学习这一概念。联邦学习可以使各参与方无需共享本地数据资源而进行数据联合建模,解决数据孤岛问题。然而,在现实环境中进行的联邦学习训练常处于异构场景下,面临着资源异构性和数据异构性的挑战。参与联邦学习的设备在硬件配置、计算能力、网络速度等方面存在显著差异,即资源异构性。在每一轮迭代过程中,这种资源异构性增加了各设备协同训练的开销,延长了总体训练时间,降低了训练效率。并且这些设备所持有的数据在分布、类型、质量和规模等方面也存在显著差异,即数据异构性。此类异构数据对全局模型的聚合引入了偏差,导致全局模型性能下降,影响模型精度和收敛性。现有研究提出通过客户端选择方法解决上述问题,然而仍存在采样不均匀,无法覆盖全部数据分布或只提升训练速度而忽略了模型精度的问题。因此,本文提出两种方法,以提升联邦学习异构场景下的性能表现。 1.针对数据异构场景下各客户端数据分布不同,因采样不均匀导致模型之间存在权重差异,使得聚合后的全局模型精度下降的问题,本文提出了一种基于层次聚类的客户端选择方法Fed HC。Fed HC计算本地模型与全局模型的余弦相似度,在使用该相似度进行层次聚类后根据聚类大小降序排序,再通过对聚类进行拆分并重新组合从而生成新的客户端分布。然后根据分布中的聚类内客户端数量从每个分布中依次选择客户端聚类,接下来在选出的聚类中根据客户端样本大小再次进行选择,从而得到最终的客户端子集。 2.针对同时面对资源异构和数据异构场景,现有方法无法实现训练效率和模型准确率之间的良好平衡的问题,本文提出了一种资源高效的聚类协同联邦学习客户端选择方法Fed RE。Fed RE根据各客户端的资源信息将其分组并为每组赋予不同的被选择次数,在每轮训练中以每组客户端的平均准确率作为间接度量选择客户端分组。在每组内根据各客户端之间的模型相似度生成相似性矩阵并进行聚类,每次训练依次从不同聚类中选择参与训练次数较少的客户端参与训练。 3.最后,本文在MNIST、Fashion-MNIST和CIFAR-10三种数据集上,将Fed HC和Fed RE方法分别与两种基线算法Fed Avg和Fed Prox进行对比实验。Fed HC在准确率方面最多可以提高2.98%和2.51%,Fed RE在准确率方面最多可以提高3.61%和2.25%,而在训练时间上Fed RE最大可以提升20%和33%。验证了Fed HC和Fed RE两种方法在异构场景下对联邦学习的性能提升的有效性。

关键词：联邦学习客户端选择异构场景层次聚类模型相似性

来源：评论

学校读者我要写书评

暂无评论

基于自适应剪枝和客户端选择的联邦学习通信优化研究与实现

基于自适应剪枝和客户端选择的联邦学习通信优化研究与实现

引用

作者：刘海洋山东大学

学位级别：硕士

随着信息技术和人工智能的不断发展，物联网设备每天都会产生海量的数据，其在为机器学习提供训练资源的同时，也带来诸多隐私安全问题。联邦学习应运而生，通过传输训练参数或梯度代替数据的方式来保护客户端隐私。但随着模型复杂度的... 详细信息

随着信息技术和人工智能的不断发展，物联网设备每天都会产生海量的数据，其在为机器学习提供训练资源的同时，也带来诸多隐私安全问题。联邦学习应运而生，通过传输训练参数或梯度代替数据的方式来保护客户端隐私。但随着模型复杂度的提高和客户端需求增加，整个训练过程的传输量非常庞大，因此降低联邦学习过程中的模型传输量并保证模型性能和收敛速度是一个重要的研究方向。　　现有减少模型传输量的方法主要通过减少各个客户端的传输量和减少每轮参与训练的客户端数量。但是由于数据的异质性和客户端隐私问题，现有方法面临一些问题和挑战。具体来说，（1）现有的模型剪枝方法主要是用相同的剪枝率，但由于异质性和非独立同分布，参与训练的客户端存储、计算和通信能力也不尽相同，对所有客户端使用相同的剪枝率不免会对模型的训练效率和精度产生影响。（2）现有的客户端选择方法需要提前了解客户端的情况，通过判定客户端的自身情况来决定是否参与某一轮次的训练，因此带来隐私泄露问题。而且大多数选择方法会使部分客户端由于不满足筛选条件而无法参与训练。　　针对上述存在的问题，本文进行了如下研究和实现:　　（1）提出了自适应剪枝率的联邦学习通信模型。该模型通过在每一轮传输参数前，对训练后的本地参数和全局参数进行相似性评估。对相似性差异大的客户端，采用较小的剪枝率来保留更多的本地模型特征以加快模型收敛速度。除此之外，为了减少训练计算，本地客户端保留剪枝率在模型训练前采取预剪枝操作，从而减少本地模型的训练时间。　　（2）提出了基于设备重要性、余弦相似度和通信时间的客户端选择方法。该模型首先根据模型相似度排除对训练模型有负面影响的客户端，然后根据三种方式对客户端进行排序索引的累加，选择参与当前轮次训练的客户端。对于未能参与训练的客户端，将计算索引得到的值累加，索引值将在下一轮计算时使用。该方法保证每一个客户端都能参与到联邦学习训练中。　　（3）设计并实现了一种基于联邦学习的医疗影像识别系统，该系统基于上述两种联邦学习通信优化技术对用户上传的医疗影像进行识别。更好地体现了提出的联邦学习模型在医疗和图像识别平台的实用性。　　通过上述研究，本文对联邦学习的训练过程进行通信优化，减少通信资源的消耗,提出的模型在多个公开数据集上相较于基线模型都有一定的提升。

关键词：联邦学习通信优化模型剪枝客户端选择

来源：评论

学校读者我要写书评

暂无评论

基于多目标优化的联邦学习客户端选择研究

基于多目标优化的联邦学习客户端选择研究

引用

作者：葛炳辰太原科技大学

学位级别：硕士

联邦学习,一种基于隐私保护的机器学习分布式范式,使不同的客户端能够在不共享各自数据的情况下共同学习一个全局模型。客户端选择作为联邦学习中的关键一步,对其效率和公平性有着关键性的影响。然而,不同客户端在数据特征和设备性能上... 详细信息

联邦学习,一种基于隐私保护的机器学习分布式范式,使不同的客户端能够在不共享各自数据的情况下共同学习一个全局模型。客户端选择作为联邦学习中的关键一步,对其效率和公平性有着关键性的影响。然而,不同客户端在数据特征和设备性能上有着显著的差异,而且客户端与服务器之间的连接状态也并不总是稳定的。如何选择客户端以及检测客户端与服务器之间的连接状态是目前研究的一个难题。因此,本文针对上述问题,构建了多目标和高维多目标的客户端选择模型,设计了基于动态选择策略的高维多目标优化算法,并利用浅层模型通信检测客户端与服务器之间的连接状态。本文的具体工作如下: (1)在客户端选择阶段,为了权衡不同客户端在数据特征和设备性能上的差异,本文构建了一个多目标的客户端选择模型。总体思路是将客户端作为决策变量,最大化客户端组合的本地训练样本大小,训练损失以及计算性能作为优化目标,通过一个等式约束控制客户端采样的数量,利用多目标优化算法求解该模型,并将这种客户端选择算法命名为多目标优化选择(MOOS)。此外,为了有效地求解多目标客户端选择模型,寻找到满足约束的可行解,提出了随机变异算子。实验结果表明,MOOS能够以较少的通信轮次达到较高的精度,提高联邦学习的效率。 (2)为了缓解全局模型在不同客户端上表现不一致的问题,本文通过提高客户端选择的公平性和多样性来解决。本文首先在多目标客户端选择模型的基础上引入了公平性的目标和约束,构建了一个高维多目标的客户端选择模型。随后,为了高效地求解高维多目标客户端选择模型,设计了基于动态选择策略的高维多目标算法(Ma OEA-DSS)。另外,为提高客户端选择的多样性,利用合作协同进化框架基于Ma OEA-DSS求解该模型,并将这种客户端选择算法命名为基于合作协同进化的多目标优化选择(CC-MOOS)。实验结果表明,CC-MOOS能够有效地提高联邦学习的公平性。 (3)为了解决在不稳定连接状态下的客户端选择问题,本文设计了基于浅层模型通信的客户端选择方法以检测客户端与服务器之间的连接状态。在浅层模型通信期间,所有客户端都与服务器进行通信以检测客户端与服务器之间的连接状态。在浅层模型通信结束后,筛选出连接状态较为稳定的客户端。实验结果表明,所提出的方法能够有效地检测客户端与服务器之间的连接状态,并提高所选择的客户端上传本地模型的成功率。

关键词：多目标优化客户端选择联邦学习协同进化

来源：评论

学校读者我要写书评

暂无评论

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案：

请选择收藏分类：

通借通还

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：