更新时间:2021-12-17 GMT+08:00
分享

梯度分叉算法

背景信息

我们将不同终端给出的梯度方向由相同逐渐到不同的过程,定义为梯度分叉。梯度分叉会导致全局参数停滞在非全局最优点,准确率无法达到最优值。

算法原理

实时统计各个终端给出的本地梯度的分叉情况。当所有(或大部分)参数都出现梯度分叉之后,将通讯频率提升,否则将通讯频率缓慢降低。反复迭代进行,最终模型参数收敛于全局最优值,实现最优准确率。

算法优势和劣势分析

联邦后期,为了达到最优的准确率,本地训练次数会降到1,大幅降低了本地计算量,但有可能需要更多的汇聚次数。

分享:

    相关文档

    相关产品

close