更新时间:2021-12-17 GMT+08:00
分享

FedProx算法

背景信息

在联邦学习主流的联邦平均(FedAvg)算法中,各边缘模型采用相同的学习率和局部epochs数,局部epochs数对各边缘模型的收敛至关重要,过大的局部epochs数可能会导致边缘模型远离全局模型,陷入局部最优,全局模型收敛时间较长。当各边缘数据间的分布不一致,该问题会加剧恶化。

引入FedProx算法,实现数据跨边缘且不同分布时联邦全局模型的快速收敛。

算法介绍

优化边缘模型局部目标函数,增加近端项惩罚,使得局部模型的更新不偏离全局模型。

其中,为局部模型更新权重,为联邦server下发的全局模型权重,为近端项惩罚系数。

当μ=0时,FedProx降为FedAvg。

算法优势

FedProx算法在各边缘数据间的分布不一致,可以提高模型收敛的稳健性和稳定性。

参考论文

TianLi, AnitKumarSahu, ManzilZaheer, et al. Federated Optimization for Heterogeneous Networks. arXiv:1812.06127v3 [cs.LG] 11 Jul 2019

分享:

    相关文档

    相关产品

close