更新时间:2021-12-17 GMT+08:00
分享

如何配置学习率衰减?

实例的参数“学习率衰减系数”和“学习率衰减步长”配套使用。

例如:某个实例的参数“边缘模型学习率”配置为0.01,“学习率衰减系数”配置为0.8,“学习率衰减步长”配置为10,表明该实例每经过10轮汇聚,边缘模型学习率按0.8的倍数逐渐降低。边缘模型学习率取值如下:

  • 第1轮:0.01
  • 第2轮~第9轮:由0.01逐渐降低为0.008(0.01*0.8)
  • 第10轮:0.008
  • 第11轮~第19轮:由0.008逐渐降低为0.0064(0.08*0.8)
  • 第20轮:0.0064
  • .....
分享:

    相关文档

    相关产品

close