更新时间：2021-12-17 GMT+08:00
梯度分叉算法
背景信息
我们将不同终端给出的梯度方向由相同逐渐到不同的过程，定义为梯度分叉。梯度分叉会导致全局参数停滞在非全局最优点，准确率无法达到最优值。
算法原理
实时统计各个终端给出的本地梯度的分叉情况。当所有(或大部分)参数都出现梯度分叉之后，将通讯频率提升，否则将通讯频率缓慢降低。反复迭代进行，最终模型参数收敛于全局最优值，实现最优准确率。
算法优势和劣势分析
联邦后期，为了达到最优的准确率，本地训练次数会降到1，大幅降低了本地计算量，但有可能需要更多的汇聚次数。
父主题： 高级算法
