使用JupyterLab创建并调试训练作业
调试模式的训练作业集成了JupyterLab等开发工具链,支持本地IDE远程开发,为训练用户提供更好的云化AI开发体验。
ModelArts提供了云化版本的JupyterLab,无需关注安装配置,即开即用。调试模式的训练作业支持连接JupyterLab,云上调试和运行代码,调试完成的代码可以直接创建生产训练作业。
ModelArts也提供了本地IDE的方式开发模型,通过开启SSH远程开发,本地IDE可以远程连接到调试训练作业中,进行调试和运行代码。本地IDE方式不影响用户的编码习惯,并且调试完成的代码可以零成本直接创建生产训练作业。
调试模式的训练作业支持分布式算法调试。
前提条件
- 已经将用于训练作业的数据上传至OBS目录。
- 已经在OBS目录下创建了至少1个空的文件夹,用于存储训练输出的内容。
ModelArts不支持加密的OBS桶,创建OBS桶时,请勿开启桶加密。
- 由于训练作业运行需消耗资源,为了避免训练失败请确保账户未欠费。
- 确保使用的OBS目录与ModelArts在同一区域。
- 检查是否配置了访问授权。如果未配置,请参见使用委托授权完成操作。
- 已经上传镜像到SWR服务中,具体操作请参见如何登录并上传镜像到SWR。
- 已经准备好训练作业的专属资源池。如需新建资源池请参见创建资源池。
操作流程介绍
创建训练作业的操作步骤如下所示。
- 进入创建训练作业页面。
- 配置调试训练作业基本信息。
- 使用自定义镜像创建调试训练作业:选择自定义算法创建方式。
- 配置训练参数:配置训练作业的输入、输出、超参、环境变量等参数。
- 根据需要选择合适的专属资源池用于训练作业:配置专属资源池。
- (可选)设置标签:如果需要对训练作业进行资源分组管理,可以设置标签。
- 提交训练作业并调试。
配置调试训练作业基本信息
在创建训练作业页面填写调试训练作业的基本信息。
参数名称 |
说明 |
---|---|
名称 |
必填,训练作业的名称。 系统会自动生成一个名称,可以根据业务需求重新命名,命名规则如下:
|
描述 |
训练作业的简介,便于在训练作业列表了解作业信息。 |
设置实验 |
将训练作业分类有序地放入实验中进行管理。
|
作业模式 |
创建调试训练作业时,必须选择“调试模型”。如果选择“生产模式”,则请参考创建生产训练作业创建生产训练作业。 |
SSH远程开发 |
选择是否启用SSH远程开发功能。 默认关闭,不启用SSH远程开发,只支持使用JupyterLab调试训练作业。打开后,启用SSH远程开发,则必须配置“密钥对”,此时支持使用JupyterLab或本地IDE调试训练作业。 |
密钥对 |
启用SSH远程开发时,必须配置密钥对。 可以选择已有密钥对,也可以单击“立即创建”新建密钥对,具体操作请参见创建密钥对。
说明:
创建好的密钥对,请下载并妥善保管,使用本地IDE远程连接到调试训练作业时需要使用密钥对进行鉴权认证。 |
训练应用程序 |
默认使用JupyterLab,支持去勾选。 创建调试作业时,建议SSH远程开发和JupyterLab至少启用一个。 |
选择自定义算法创建方式
参数名称 |
说明 |
---|---|
创建方式 |
固定选择“自定义算法”。 |
启动方式 |
固定选择“自定义”。 |
镜像 |
必填,填写容器镜像的地址。
容器镜像地址的填写支持如下方式。
|
代码目录 |
选择训练代码文件所在的OBS目录。如果自定义镜像中不含训练代码则需要配置该参数,如果自定义镜像中已包含训练代码则不需要配置。
|
运行用户ID |
容器运行时的用户ID,该参数为选填参数,建议使用默认值1000。 如果需要指定uid,则uid数值需要在规定范围内,专属资源池的uid范围是1~65535。同时,自定义镜像必须存在“/home/ma-user”目录,且“/home/ma-user”目录的属主为指定uid,属组为指定uid对应的gid。 |
本地代码目录 |
指定训练容器的本地目录,启动训练时系统会将代码目录下载至此目录。 此参数可选,默认本地代码目录为“/home/ma-user/modelarts/user-job-dir”。 |
工作目录 |
训练时,系统会自动cd到此目录下执行启动文件。 |
配置训练参数
训练过程中可以从OBS桶或者数据集中获取输入数据进行模型训练,训练输出的结果也支持存储至OBS桶中。创建训练作业时可以参考表3配置输入、输出、超参、环境变量等参数。
参数名称 |
子参数 |
说明 |
---|---|---|
输入 |
参数名称 |
算法代码需要通过“输入”的“参数名称”去读取训练的输入数据。 建议设置为“data_url”。训练输入参数要与所选算法的“输入”参数匹配,请参见创建算法时的表4。 |
数据集 |
单击“数据集”,在ModelArts数据集列表中勾选目标数据集并选择对应的版本。 训练启动时,系统将自动下载输入路径中的数据到训练运行容器。
说明:
ModelArts数据管理模块在重构升级中,对未使用过数据管理的用户不可见。建议新用户将训练数据存放至OBS桶中使用。 |
|
数据存储位置 |
单击“数据存储位置”,从OBS桶中选择训练输入数据的存储位置。 训练启动时,系统将自动下载输入路径中的数据到训练运行容器。 |
|
获取方式 |
以参数名称为“data_path”的训练输入为例,说明获取方式的作用。
|
|
输出 |
参数名称 |
算法代码需要通过“输出”的“参数名称”去读取训练的输出目录。 建议设置为“train_url”。训练输出参数要与所选算法的“输出”参数匹配,请参见创建算法时的表5。 |
数据存储位置 |
单击“数据存储位置”,从OBS桶中选择训练输出数据的存储位置。训练过程中,系统将自动从训练容器的本地代码目录下同步文件到数据存储位置。
说明:
数据存储位置仅支持OBS路径。为避免数据存储冲突,建议选择一个空目录用作“数据存储位置”。 |
|
获取方式 |
以参数名称为“train_url”的训练输出为例,说明获取方式的作用。
|
|
预下载至本地目录 |
选择是否将输出目录下的文件预下载至本地目录。
|
|
超参 |
- |
超参用于训练调优。此参数由选择的算法决定,如果在算法中已经定义了超参,则此处会显示算法中所有的超参。 超参支持修改和删除,状态取决于算法中的超参“约束”设置,详情请参见创建算法时的定义超参。
说明:
为保证数据安全,请勿输入敏感信息,例如明文密码。 |
环境变量 |
- |
根据业务需求增加环境变量。训练容器中预置的环境变量请参见管理训练容器环境变量。
说明:
为保证数据安全,请勿输入敏感信息,例如明文密码。 |
自动重启 |
- |
打开开关后,可以设置重启次数和是否启用无条件自动重启。 打开自动重启开关后,当由于环境问题导致训练作业异常时,系统将自动修复异常或隔离节点,并重启训练作业,提高训练成功率。为了避免丢失训练进度、浪费算力,开启此功能前请确认代码已适配断点续训,操作指导请参见设置断点续训练。 重启次数的取值范围是1~128,缺省值为3。创建训练后不支持修改重启次数,请合理设置次数。 勾选无条件自动重启后,只要系统检测到训练异常,就无条件重启训练作业。为了避免无效重启浪费算力资源,系统最多只支持连续无条件重启3次。 当训练过程中触发了自动重启,则系统会记录重启信息,在训练作业详情页可以查看故障恢复详情,具体请参见训练作业重调度。 |
配置专属资源池
参数名称 |
说明 |
---|---|
资源池 |
必选,选择“专属资源池”并选择要使用的资源池。 选择专属资源池时,支持查看当前资源池的状态、节点规格、空闲/碎片节点数、可用节点/总节点数以及卡数信息。单击“空闲/碎片节点数”列的“查看”可以查看碎片详情,确认资源池是否满足训练需求。 |
规格 |
必选,根据不同的资源类型,选择所需的资源规格。 当“输入”参数选择“数据存储位置”时,在选择资源池规格时可以单击右侧的“获取输入数据大小”,检查输入数据的大小是否超出数据盘的容量限制,避免训练过程中出现内存不足的情况。
须知:
资源规格为“GPU:n*tnt004”(n表示具体数字)的资源不支持多进程的训练任务。 |
自定义规格 |
选择是否打开“自定义规格”开关。训练作业支持基于专属资源池的规格自定义资源规格,进而提升资源池的利用率。
说明:
如果启用“自定义规格”,则“规格”参数将配置无效。 |
计算节点个数 |
必填,根据需要选择计算节点的个数。默认值为“1”。
|
作业优先级 |
使用专属资源池创建训练作业时,支持设置训练作业的优先级。取值为1~3,默认优先级为1,最高优先级为3。
|
SFS Turbo |
当ModelArts和SFS Turbo间网络直通时,训练作业支持挂载多个SFS Turbo存放训练数据。单击“增加挂载配置”,填写如下参数。
说明:
|
永久保存日志 |
选择CPU或者GPU资源时,支持选择是否打开“永久保存日志”开关。
|
作业日志路径 |
选择Ascend资源时或者打开“永久保存日志”开关时,必须配置“作业日志路径”,用于存放训练作业产生的日志文件。 建议选择一个空的OBS文件目录存放运行中产生的日志文件,同时需要OBS文件目录的读写权限。 |
事件通知 |
选择是否打开“事件通知”开关。
|
自动停止 |
选择是否设置训练作业自动停止。
|
提交训练作业并调试
- 当创建训练作业的参数配置完成后,单击“提交”,在信息确认页面单击“确定”,提交创建训练作业任务。
在训练作业列表中,刚创建的训练作业状态为“等待中”。
- 在训练作业列表中,当训练作业的状态变为“运行中”时,单击操作列的“打开”弹出JupyterLab页面,即可进行训练代码调试。
JupyterLab页面左侧会显示训练代码文件,JupyterLab的使用请参见JupyterLab简介及常用操作。
当创建的调试训练作业开启了SSH远程开发时,在训练作业详情页获取“SSH远程开发”参数后的“密钥对”和SSH地址信息后,可以使用本地IDE远程连接到调试训练作业中进行代码调试。本地IDE的使用请参见本地IDE操作流程。
![](https://support.huaweicloud.com/usermanual-standard-modelarts/public_sys-resources/note_3.0-zh-cn.png)
训练作业运行过程中将按照选择的资源进行计费。