更新时间:2021-09-18 GMT+08:00
分享

创建超参优化服务

超参优化服务可以对已创建好的模型训练工程进行超参调优,通过训练结果对比,选择一组最优超参组合。并不是所有的训练工程都可以创建超参优化服务。创建超参优化服务对已创建的训练工程要求如下:

  • 训练工程是可以成功执行训练任务的
  • 训练工程中超参是通过SDK(softcomai.get_hyper_param)调用的,不在训练代码中定义取值。
  • 训练工程需要反馈优化程序所需要的分数

详细的超参优化服务,请参见SDK文档最新版本的“超参数优化示例”。SDK说明请在模型训练服务首页右下角的浮框中,依次单击“帮助中心 > SDK文档”查看。

新建超参优化服务

超参优化服务为已经创建的模型训练工程,通过训练结果对比,选择一组最优超参组合。

  1. 单击“创建”,弹出“创建训练”对话框。

    参数说明,如表1所示。
    表1 参数说明

    参数名称

    参数说明

    请选择模型训练方式

    模型训练方式。

    包含如下选项:

    • 新建模型训练工程
    • 新建联邦学习工程
    • 新建训练服务
    • 新建超参优化服务

    请选择:新建超参优化服务。

    描述

    描述信息。

    优化服务名称

    训练服务名称。

    只能以字母(A~Z a~z)开头,由字母、数字(0~9)、下划线(_)组成,不能以下划线结尾,长度范围为[1,26]。

    目标训练工程

    已经创建的模型训练工程。训练工程创建请参见创建模型训练工程

  2. 单击“确定”。

    进入超参优化服务详情界面,如图1所示。界面说明如表2所示。
    图1 超参优化服务详情界面
    表2 界面说明

    区域

    参数名称

    参数说明

    1(训练服务)

    创建时间

    超参优化服务创建时间。

    类型

    模型训练的类型。

    创建者

    创建超参优化服务的用户。

    活动时间

    最近一次模型训练执行的时间。

    目标优化算法

    创建超参优化服务时选择的目标训练工程。

    模型训练工程描述

    超参优化服务的描述信息,支持通过单击“”重新编辑。

    创建训练任务,详细请参考模型训练

    删除训练任务。

    切换到其他的训练工程、联邦学习工程、训练服务或超参优化服务的模型训练页面中。

    模型训练运行环境信息查看和配置。

    新建训练工程、联邦学习工程、训练服务或超参优化服务。

    2(模型训练任务)

    根据训练状态快速检索训练任务。

    根据任务创建时间、任务名称检索训练任务。

    默认按任务创建时间检索。

    按任务创建时间或者任务名称检索训练任务,检索结果按正序或者倒序排列展示。

    默认按倒序排序。

    任务名称

    模型训练任务的名称。

    任务描述

    模型训练任务的描述信息

    任务创建时间

    模型训练任务创建的时间。

    训练用时

    模型训练耗时时长。

    Tensorboard

    Tensorboard状态。

    训练状态

    显示训练任务当前的状态。

    包括如下状态:

    • ALL显示所有训练任务。
    • WAITING表示训练任务准备中。
    • RUNNING表示正在训练。
    • FINISHED表示训练成功
    • FAILED表示训练失败。
    • STOPPED表示被停止的训练任务。

    评估报告

    单击可查看训练评估报告详情。

    资源占用

    显示训练算法CPU、GPU和RAM的占用情况。

    峰值

    显示训练算法CPU、GPU和RAM使用过程中的峰值。

    查看训练任务的系统日志、运行日志和运行图。

    查看优化报告。

    训练状态为RUNNING时,可以执行此按钮停止训练任务。

    删除训练任务。

模型训练

  1. 在超参优化服务详情界面,单击界面右上角的图标。

    弹出“创建超参优化任务”对话框,如图2所示。
    图2 创建超参优化任务

    参数说明,如创建超参优化任务参数说明所示。
    表3 参数说明

    区域

    参数名称

    参数描述

    任务名称

    任务名称

    模型训练任务的名称。

    描述

    描述

    模型训练任务的描述信息。

    优化配置

    AI引擎

    AI引擎及AI引擎的Python版本。

    计算节点规格

    计算节点规格。

    模型训练服务提供的计算节点资源,包括CPU和GPU。

    用户可以单击选定计算节点资源,并在“计算节点个数”中配置计算节点资源的个数。

    计算节点个数

    计算节点的个数:

    • 1代表单节点计算
    • 2代表分布式计算

    主入口

    训练任务的入口文件及入口函数。

    优化方法

    超参优化方法:

    • 贝叶斯优化-GP
    • 贝叶斯优化-SMAC
    • 贝叶斯优化-TPE
    • 随机搜索
    • 网格搜索

    优化目标

    超参优化任务的目标,在训练算法中进行定义并反馈。根据训练代码选择“最大值”或“最小值”。

    终止条件

    • 迭代次数
    • 时间

    超参配置

    数据集超参

    配置数据集实例的超参。

    通过调用SDK(get_hyper_param)获取数据集相关的超参,包括训练数据集实例、验证数据集实例等。数据集超参支持输入多个,可以通过“增加”或图标,来增加或删除数据集超参。

    详细SDK说明,请在模型训练服务首页右下角的浮框中,依次单击“在线帮助 > SDK文档”查看。

    静态超参

    每次迭代训练,超参的取值是固定不变的:

    • 参数名称:静态超参的名称
    • 参数值:静态超参的取值

    通过调用SDK(get_hyper_param)获取静态超参,可以通过图标,来增加或删除静态超参。

    详细SDK说明,请在模型训练服务首页右下角的浮框中,依次单击“帮助中心 > SDK文档”查看。

    动态超参

    每次迭代训练,超参的取值都会依据优化方法重新赋值:

    • 参数名称:动态超参的名称
    • 参数类型:动态超参的类型,例如INT、FLOAT、STRING、BOOL等
    • 参数区间:动态超参的取值范围,[起始值,终止值]

    通过调用SDK(get_hyper_param)获取动态超参,可通过增加或删除动态超参。

    详细SDK说明,请在模型训练服务首页右下角的浮框中,依次单击“帮助中心 > SDK文档”查看。

  2. 单击“创建”,训练任务开始。
  3. 单击查看训练任务执行的详细情况,包括系统日志、运行日志和运行图。

超参优化任务结果查看

在“模型训练”页面,单击可以查看超参优化任务的优化报告。优化报告中包含:

  • 超参优化任务的详细信息:最优超参组合的模型评分、训练耗时、参数取值,以及超参优化任务的参数信息。
  • 评分图:在图表中显示每次迭代训练得到的模型评分。
  • 超参图:在图表中显示每次迭代训练的超参取值及对应的模型评分。
  • 试验时长图:在图表中显示每次迭代训练的超参取值及对应的训练时长。

相关文档