更新时间:2021-12-17 GMT+08:00
分享

产品术语

表1 术语

术语

英文

缩略语

描述

安全多方计算

secure multi-party computation

-

安全多方计算是针对无可信第三方的情况下,如何保护隐私的一种安全算法。在联邦中通过安全多方计算将本地模型的更新加密可以防止服务端通过恢复模型获取边缘训练数据的相关信息。

边缘模型学习率

edge model learning rate

-

边缘模型学习率同监督学习以及深度学习中的学习率是一个意思,是算法中的重要超参,用来指导如何通过损失函数的梯度调整网络权重。学习率太小,损失函数的收敛过程可能会过慢;学习率太大,损失函数可能会出现振荡。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。

在联邦学习场景下,这个学习率一般有FLS控制,以达到最优的效果。

边缘模型迭代次数

number of edge model iterations

-

每轮训练边缘节点内迭代次数,与中心模型汇聚轮次一起(相乘)来计算模型训练的总次数。

边缘节点

edge node

-

参与联邦的设备,需要具备训练能力,通过FLC与FLS进行交互。

参数冻结法

parameter freezing

-

参数冻结是一种压缩算法,根据模型变化趋势调节每轮联邦汇聚的参数达到降低通信带宽的目的。

差分隐私算法

differential privacy algorithm

-

是密码学中的一种手段,旨在提供一种当从统计数据库查询时,最大化数据查询的准确性,同时最大限度保护个人数据隐私。

联邦学习客户端

federated learning client

FLC

包含终端(Client)、边缘设备(edge)、本地数据中心(server)。负责与FLS之间进行通信,下载Global模型、上传模型参数更新内容;可以利用本地数据进行本地训练。FLC工作方式有自闭环模式(模型训练由FLC内部负责,需要对接数据以及机器学习框架)和代理模式(模型训练由业务系统负责,FLC仅承担任务下发,任务结果上报功能)。

联邦学习服务端

federated learning server

FLS

负责与FLC之间进行通信,基于联邦汇聚算法对FLC上传的模型更新参数进行计算,下发Global模型给FLC。

联邦Console

federated console

-

联邦学习部署服务的前台页面。用户可以在联邦Console中创建联邦实例,配置联邦实例参数,发布并启动联邦实例。

联邦学习

federated learning

-

是一种加密的分布式机器学习技术,它是指参与联邦学习的各local节点在不共享本地数据的前提下共建AI模型。其核心是:参与方在本地进行模型训练,然后仅将模型更新的部分加密上传到云端,并与其他参与方的模型更新部分进行汇聚整合,形成一个公共的模型,这个公共的模型再由云端下发给各参与方,通过反复的本地训练以及反复的云端整合,最终得到一个AI模型,相对于初始模型来说具有更好的预测性能。

模型改变量

model variation

-

模型改变量是中心模型参数的改变量求和同模型参数求和的一个比值,是衡量模型改变幅度的一个指标。模型改变量越接近0,就表示模型越趋近于收敛。理论上改变量为0时,达到最优解。

模型评估间隔

model evaluation interval

-

模型评估间隔是相对于模型汇聚次数来说的,即每汇聚多少次(模型评估间隔)就进行一次模型评估,如果设置的值较小,则可以很好的观察模型训练的好坏趋势,但是带来了额外的计算开销,反之则不能直观的观察模型的准确率。

梯度分叉法

gradient bifurcation

-

梯度分叉法是一种自适应算法,可以自动调节边缘模型迭代次数,在达到相同精度的要求下可以有效的减少本地训练时长。

随机选参法

random parameter selection

-

随机选参是一种压缩算法,在多节点场景下,每个客户端随机上传部分参数达到降低通信带宽的目的。

学习率

learning rate

-

监督学习以及深度学习中的重要超参,用来指导如何通过损失函数的梯度调整网络权重。学习率太小,损失函数的收敛过程可能会过慢;学习率太大,损失函数可能会出现振荡。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。

学习率衰减

learning rate attenuation

-

学习率衰减是一种自适应调节学习率的算法,可以动态衰减学习率,让联邦收敛的更加平滑,同时能够达到最优解。

训练平台

training platform

-

NAIE模型训练服务为开发者提供通信领域一站式模型开发服务,从数据预处理,到特征提取、模型训练、模型验证,本服务为开发者提供开发环境、模拟验证环境,API和一系列开发工具,帮助开发者快速高效开发通信领域模型。

分享:

    相关文档

    相关产品

close