更新时间:2021-12-17 GMT+08:00
分享

自适应聚合算法

算法介绍

一种常见的用做分类任务的卷积神经网络结构,如图1所示。

可以将网络结构简化为两层,如下所示:

  • Backbone:Backbone层执行特征提取流程。
  • Last Layer(LL):卷积神经网络的最后一层,执行分类流程,通常使用softmax作为激活函数。
自适应聚合算法的流程,如图2所示。参与联邦的client只共享上传Backbone层参数,而LL层参数只在本地训练,无需上传。
图1 卷积神经网络结构
图2 自适应聚合算法流程

算法优势

  • 减小通信开销。不同于传统的联邦流程,自适应聚合流程中,client不上传LL层参数,减小通信开销。
  • 数据量不均衡的场景下,共享Backbone层参数。数据量较少的client上,提升模型的特征提取效果。
  • 由于不上传LL层参数而只在本地更新,使得模型能够快速适应本地数据分布,提升模型推理精度。

应用场景

数据量不均衡场景下,client上某类标签数据较少,希望提升模型对此类标签识别率。

参考论文

Liang P P, Liu T, Ziyin L, et al. Think Locally, Act Globally: Federated Learning with Local and Global Representations[J]. arXiv preprint arXiv:2001.01523, 2020.

分享:

    相关文档

    相关产品

close