管理模型训练作业
模型训练作业创建完成后,您可对训练作业进行重训、续训、编辑草稿、停止和删除操作。
模型训练作业允许的操作与所处状态约束关系请见表1。
| 状态 | 是否占用NPU资源 | 重训 | 续训 | 编辑 | 停止 | 删除 |
|---|---|---|---|---|---|---|
| 草稿 | × | × | × | √ | × | √ |
| 创建中 | √ | × | × | × | × | × |
| 等待中 | √ | × | × | × | √ | √ |
| 运行中 | √ | × | × | × | √ | √ |
| 已完成 | × | √ | × | × | × | √ |
| 停止中 | √ | × | × | × | × | × |
| 已停止 | × | √ | √(仅限当前模型资产支持续训) | × | × | √ |
| 失败 | × | × | √(仅限运行失败,且当前模型资产支持续训) | × | × | √ |
| 异常 | √ | × | √(仅限当前模型资产支持续训) | × | × | √ |
| 删除中 | √ | × | × | × | × | × |
查询训练作业
界面按照列表展示所有创建的训练作业,您可以按照需要筛选训练作业。
- 查看全部训练作业 图1 查看全部训练作业
单击“全部”,即可查看当前工作空间下的所有训练作业。
- 筛选训练作业 图2 筛选训练作业
- 在页面上方,单击“运行中”、“失败”或“异常”,可以筛选对应的训练作业。
- 在搜索框默认按照作业名称搜索实例,还可以按照状态或训练方式进行筛选。
重训训练作业
您可对“状态”为“失败”、“已停止”或“已完成”模型训练作业做重训操作。
- 登录CloudRobo控制台。
- 在左侧导航栏中单击“模型开发 > 模型训练”,进入“模型训练”页面。
- 单击“状态”为“失败”或“已完成”模型训练作业的右侧“操作”列下“重训”。
- 在弹出的“重训训练作业”页面中按实际需求配置相关参数后单击“确定提交”,对模型再次训练。
重训后的训练作业“状态”变为“创建中”。
续训训练作业
当训练作业的输入模型算法支持checkpoint管理和续训、训练模式为模型调优,且“状态”为“失败”(仅限运行失败)、“已停止”或“异常”时,可指定checkpoint作为训练起点开始进行续训操作。
- 登录CloudRobo控制台。
- 在左侧导航栏中单击“模型开发 > 模型训练”,进入“模型训练”页面。
- 单击待续训模型训练作业的右侧“操作”列下“续训”。
- 在弹出的“续训作业”页面中选择需要续训中间产物,然后单击“确定”,对该产物开始续训。
- 返回训练列表页,查看训练任务状态变化。
开启后的续训作业任务“状态”变为“创建中”。如果当前所选规格资源紧张,作业需排队,“状态”则变为“等待中”。
续训将生成新作业流水号,基于当前任务继续训练,续训结果可在作业中查看。续训会删除当前checkpoint后的全部checkpoint,迁移到新任务统一管理,无需切回历史任务查看,但历史任务中已保存的记录保持不变。
编辑训练作业草稿
您可修改“状态”为“草稿”的模型训练作业的信息。
- 登录CloudRobo控制台。
- 在左侧导航栏中单击“模型开发 > 模型训练”,进入“模型训练”页面。
- 单击“状态”为“草稿”模型训练作业的右侧“操作”列下“编辑草稿”。
- 在弹出的“编辑训练作业”页面中按业务需求修改参数配置后单击“确定提交”,对模型再次训练。
编辑后的训练作业“状态”变为“创建中”。
停止训练作业
您可停止“状态”为“运行中”和“等待中”的模型训练作业。
- 登录CloudRobo控制台。
- 在左侧导航栏中单击“模型开发 > 模型训练”,进入“模型训练”页面。
- 单击“状态”为“运行中”模型训练作业右侧的“操作”下“停止”停止该训练作业的运行。
停止的训练作业“状态”变为“已停止”,且系统释放作业相关的资源。
删除训练作业
您可删除“状态”为“草稿”、“等待中”、“运行中”、“已完成”、“失败”、“已停止”或“异常”的模型训练作业的信息。
- 登录CloudRobo控制台。
- 在左侧导航栏中单击“模型开发 > 模型训练”,进入“模型训练”页面。
- 单击模型训练作业后的“操作”下“删除”。
- 在弹出的“删除作业”页面,输入“DELETE”并单击“确定”,删除该条训练作业。
删除后的训练作业将不在“训练作业”列表页展示,且系统释放作业相关的资源。