创建生产训练作业
模型训练是一个不断迭代和优化模型权重的过程。ModelArts的训练模块支持创建训练作业、查看训练情况以及管理训练版本。通过模型训练试验模型结构、数据和超参的各种组合,便于找到最佳的模型结构和权重。
创建生产环境的训练作业有2种方式:
- 通过ModelArts Standard控制台的方式创建生产环境的训练作业,详细操作请参考本章节以下内容。
- 通过ModelArts提供的API接口创建生产环境的训练作业,详细操作请参见使用API创建训练作业。
前提条件
操作流程介绍
创建训练作业的操作步骤如下所示。
- 进入创建训练作业页面。
- 配置训练作业基本信息。
- 根据不同的算法来源,选择不同的训练作业创建方式。
- 使用已有算法创建训练作业:选择创建方式(使用我的算法)
- 使用订阅算法创建训练作业:选择创建方式(使用订阅算法)
- 使用预置镜像创建训练作业:选择创建方式(自定义算法)
- 使用自定义镜像创建训练作:选择创建方式(使用自定义镜像)
- 配置训练参数:配置训练作业的输入、输出、超参、环境变量等参数。
- 根据需要选择不同的资源池用于训练作业,推荐使用专属资源池,两者的差异说明请参见专属资源池和公共资源池的能力差异。
- (可选)选择训练模式:当训练作业的算法框架选用的是预置框架的MindSpore类引擎、资源池类型选用的是Ascend资源时,则支持选择训练模式。
- (可选)设置标签:如果需要对训练作业进行资源分组管理,可以设置标签。
- 后续操作。
配置训练作业基本信息
在创建训练作业页面填写训练作业基本信息。
参数名称 |
说明 |
---|---|
名称 |
必填,训练作业的名称。 系统会自动生成一个名称,可以根据业务需求重新命名,命名规则如下:
|
描述 |
训练作业的简介,便于在训练作业列表了解作业信息。 |
设置实验 |
将训练作业分类有序地放入实验中进行管理。
|
作业模式 |
创建生产训练作业时,必须选择“生产模型”。如果选择“调试模式”,则请参考创建调试训练作业创建调试训练作业。 |
选择创建方式(自定义算法)
参数名称 |
说明 |
---|---|
创建方式 |
必选,选择“自定义算法”。 |
启动方式 |
必选,选择“预置框架”,并选择训练作业要使用的预置框架引擎和引擎版本。 如果引擎版本选择“自定义”,则需要配置“镜像”参数,选择自定义镜像用于训练作业。 |
镜像 |
仅当预置框架的引擎版本选择“自定义”时才显示该参数,且是必填参数。
容器镜像地址的填写支持如下方式。
|
代码目录 |
必填,选择训练代码文件所在的OBS目录。
|
启动文件 |
必填,选择代码目录中训练作业的Python启动脚本。 ModelArts只支持使用Python语言编写的启动文件,因此启动文件必须以“.py”结尾。 |
本地代码目录 |
指定训练容器的本地目录,启动训练时系统会将代码目录下载至此目录。 此参数可选,默认本地代码目录为“/home/ma-user/modelarts/user-job-dir”。 |
工作目录 |
训练时,系统会自动cd到此目录下执行启动文件。 |
选择创建方式(使用自定义镜像)
参数名称 |
说明 |
---|---|
创建方式 |
必选,选择“自定义算法”。 |
启动方式 |
必选,选择“自定义”。 |
镜像 |
必填,填写容器镜像的地址。
容器镜像地址的填写支持如下方式。
|
代码目录 |
选择训练代码文件所在的OBS目录。如果自定义镜像中不含训练代码则需要配置该参数,如果自定义镜像中已包含训练代码则不需要配置。
|
运行用户ID |
容器运行时的用户ID,该参数为选填参数,建议使用默认值1000。 如果需要指定uid,则uid数值需要在规定范围内,不同资源池的uid范围如下:
|
启动命令 |
必填,镜像的启动命令。
运行训练作业时,当“代码目录”下载完成后,“启动命令”会被自动执行。
启动命令支持使用“;”和“&&”拼接多条命令,命令中的“demo-code”为存放代码目录的最后一级OBS目录,以实际情况为准。
说明:
为保证数据安全,请勿输入敏感信息,例如明文密码。 |
本地代码目录 |
指定训练容器的本地目录,启动训练时系统会将代码目录下载至此目录。 此参数可选,默认本地代码目录为“/home/ma-user/modelarts/user-job-dir”。 |
工作目录 |
训练时,系统会自动cd到此目录下执行启动文件。 |
配置训练参数
训练过程中可以从OBS桶或者数据集中获取输入数据进行模型训练,训练输出的结果也支持存储至OBS桶中。创建训练作业时可以参考表4配置输入、输出、超参、环境变量等参数。
![](https://support.huaweicloud.com/usermanual-standard-modelarts/public_sys-resources/note_3.0-zh-cn.png)
创建训练作业时选择的创建方式不同,训练作业的输入、输出和超参显示不同。如果参数值置灰,即表示该参数已经在算法代码中配置了且不支持修改。
参数名称 |
子参数 |
说明 |
---|---|---|
输入 |
参数名称 |
算法代码需要通过“输入”的“参数名称”去读取训练的输入数据。 建议设置为“data_url”。训练输入参数要与所选算法的“输入”参数匹配,请参见创建算法时的表4。 |
数据集 |
单击“数据集”,在ModelArts数据集列表中勾选目标数据集并选择对应的版本。 训练启动时,系统将自动下载输入路径中的数据到训练运行容器。
说明:
ModelArts数据管理模块在重构升级中,对未使用过数据管理的用户不可见。建议新用户将训练数据存放至OBS桶中使用。 |
|
数据存储位置 |
单击“数据存储位置”,从OBS桶中选择训练输入数据的存储位置。 训练启动时,系统将自动下载输入路径中的数据到训练运行容器。 |
|
获取方式 |
以参数名称为“data_path”的训练输入为例,说明获取方式的作用。
|
|
输出 |
参数名称 |
算法代码需要通过“输出”的“参数名称”去读取训练的输出目录。 建议设置为“train_url”。训练输出参数要与所选算法的“输出”参数匹配,请参见创建算法时的表5。 |
数据存储位置 |
单击“数据存储位置”,从OBS桶中选择训练输出数据的存储位置。训练过程中,系统将自动从训练容器的本地代码目录下同步文件到数据存储位置。
说明:
数据存储位置仅支持OBS路径。为避免数据存储冲突,建议选择一个空目录用作“数据存储位置”。 |
|
获取方式 |
以参数名称为“train_url”的训练输出为例,说明获取方式的作用。
|
|
预下载至本地目录 |
选择是否将输出目录下的文件预下载至本地目录。
|
|
超参 |
- |
超参用于训练调优。此参数由选择的算法决定,如果在算法中已经定义了超参,则此处会显示算法中所有的超参。 超参支持修改和删除,状态取决于算法中的超参“约束”设置,详情请参见定义超参。
说明:
为保证数据安全,请勿输入敏感信息,例如明文密码。 |
环境变量 |
- |
根据业务需求增加环境变量。训练容器中预置的环境变量请参见管理训练容器环境变量。
说明:
为保证数据安全,请勿输入敏感信息,例如明文密码。 |
自动重启 |
- |
打开开关后,可以设置重启次数和是否启用无条件自动重启。 打开自动重启开关后,当由于环境问题导致训练作业异常时,系统将自动修复异常或隔离节点,并重启训练作业,提高训练成功率。为了避免丢失训练进度、浪费算力,开启此功能前请确认代码已适配断点续训,操作指导请参见设置断点续训练。 重启次数的取值范围是1~128,缺省值为3。创建训练后不支持修改重启次数,请合理设置次数。 勾选无条件自动重启后,只要系统检测到训练异常,就无条件重启训练作业。为了避免无效重启浪费算力资源,系统最多只支持连续无条件重启3次。 当训练过程中触发了自动重启,则系统会记录重启信息,在训练作业详情页可以查看故障恢复详情,具体请参见训练作业重调度。 |
配置资源池(公共资源池)
参数名称 |
说明 |
---|---|
资源池 |
必选,选择“公共资源池”。 |
资源类型 |
必选,选择训练需要的资源类型。当训练代码中已定义资源类型时,则根据算法的约束条件选择合适的资源类型。例如,训练代码中定义的资源类型为CPU,这里选择其他类型时会导致训练失败。如果部分资源类型不可见或不可选,表示不支持。 Ascend资源仅在“华北-北京四”可用。 |
规格 |
必选,根据不同的资源类型,选择所需的资源规格。 当“输入”参数选择“数据存储位置”时,在选择资源池规格时可以单击右侧的“获取输入数据大小”,检查输入数据的大小是否超出数据盘的容量限制,避免训练过程中出现内存不足的情况。
须知:
资源规格为“GPU:n*tnt004”(n表示具体数字)的资源不支持多进程的训练任务。 |
计算节点个数 |
必填,根据需要选择计算节点的个数。默认值为“1”。
|
永久保存日志 |
选择CPU或者GPU资源时,支持选择是否打开“永久保存日志”开关。
|
作业日志路径 |
选择Ascend资源时或者打开“永久保存日志”开关时,必须配置“作业日志路径”,用于存放训练作业产生的日志文件。 建议选择一个空的OBS文件目录存放运行中产生的日志文件,同时需要OBS文件目录的读写权限。 |
事件通知 |
选择是否打开“事件通知”开关。
|
自动停止 |
当使用付费资源时,可以选择是否打开“自动停止”开关。
|
配置资源池(专属资源池)
参数名称 |
说明 |
---|---|
资源池 |
必选,选择“专属资源池”并选择要使用的资源池。 选择专属资源池时,支持查看当前资源池的状态、节点规格、空闲/碎片节点数、可用节点/总节点数以及卡数信息。单击“空闲/碎片节点数”列的“查看”可以查看碎片详情,确认资源池是否满足训练需求。 |
规格 |
必选,根据不同的资源类型,选择所需的资源规格。 当“输入”参数选择“数据存储位置”时,在选择资源池规格时可以单击右侧的“获取输入数据大小”,检查输入数据的大小是否超出数据盘的容量限制,避免训练过程中出现内存不足的情况。
须知:
资源规格为“GPU:n*tnt004”(n表示具体数字)的资源不支持多进程的训练任务。 |
自定义规格 |
选择是否打开“自定义规格”开关。训练作业支持基于专属资源池的规格自定义资源规格,进而提升资源池的利用率。
说明:
如果启用“自定义规格”,则“规格”参数将配置无效。 |
计算节点个数 |
必填,根据需要选择计算节点的个数。默认值为“1”。
|
作业优先级 |
使用专属资源池创建训练作业时,支持设置训练作业的优先级。取值为1~3,默认优先级为1,最高优先级为3。
|
SFS Turbo |
当ModelArts和SFS Turbo间网络直通时,训练作业支持挂载多个SFS Turbo存放训练数据。单击“增加挂载配置”,填写如下参数。
说明:
|
永久保存日志 |
选择CPU或者GPU资源时,支持选择是否打开“永久保存日志”开关。
|
作业日志路径 |
选择Ascend资源时或者打开“永久保存日志”开关时,必须配置“作业日志路径”,用于存放训练作业产生的日志文件。 建议选择一个空的OBS文件目录存放运行中产生的日志文件,同时需要OBS文件目录的读写权限。 |
事件通知 |
选择是否打开“事件通知”开关。
|
自动停止 |
当使用付费资源时,可以选择是否打开“自动停止”开关。
|