创建调试训练作业并使用JupyterLab调试

作业模式

创建调试训练作业时，必须选择“调试模型”。

训练作业支持在云上和本地对训练代码进行调试，调试完成的代码可直接创建生产训练作业。

• “生产模式”：在生产环境运行训练作业，初次上云训练建议先使用调试模式，再到生产环境运行，避免产生资源浪费。
• “调试模式”：可以实时修改训练代码并迭代调试。

“生产模式”，则请参考创建生产训练作业（新版页面）创建生产训练作业。

作业名称

必填，训练作业的名称。

系统会自动生成一个名称，可以根据业务需求重新命名，命名规则如下：

• 支持1~64位字符。
• 可以包含大小写字母、数字、中划线（-）或下划线（_）。

描述（可选）

训练作业的简介，便于在训练作业列表了解作业信息。

实验设置

勾选“实验设置”后，可以将训练作业放入实验中分类，并有序地进行管理，常用于多任务的版本管理等场景。

实验功能有助于管理和优化训练作业，如通过重建作业时微调超参得到的新作业，可在实验中有序归纳与比较作业结果，从而有效地寻找最佳训练配置。

• “选择已有实验”：将训练作业纳入已有的实验中。需要选择“实验名称”。
• “创建新实验”：将训练作业纳入新建的实验中。需要配置“新实验名称”和“新实验描述（可选）”。

不勾选实验设置，表示训练作业不在实验中进行统一管理。

训练应用程序

创建调试作业时，SSH远程开发和JupyterLab至少启用一个。

• JupyterLab：通过云化版本的JupyterLab，在云上调试和运行代码，无需关注安装配置，即开即用。
• SSH远程开发：支持通过本地IDE（例如VSCode）远程连接到调试训练作业中，对代码进行调试及运行。

密钥对

启用SSH远程开发时，必须配置密钥对。

可以选择已有密钥对，也可以单击“立即创建”新建密钥对，具体操作请参见创建密钥对。

输入

单击“添加”，配置训练作业输入信息。

• “参数名称”

  算法代码需要通过“输入”的“参数名称”去读取训练的输入数据。

  建议设置为“data_url”。训练输入参数要与所选算法的“输入”参数匹配。

• “输入来源”：训练输入支持来源OBS存储和数据集。
  • 单击“输入来源”参数右侧的，从OBS桶中选择训练输入数据的存储位置。文件总大小要小于或等于10GB，文件数要小于或等于1000个，单个文件大小要小于或等于1GB。
  • 单击“数据集”，在ModelArts数据集列表中勾选目标数据集并选择对应的版本。

  训练启动时，系统将自动下载输入路径中的数据到训练运行容器。

• “容器内访问路径”：数据输入通道映射的容器本地路径。
  • “输入”的本地路径不支持修改，此路径由系统自动设置。

  • 值为参数名称、本地代码路径、索引和输入输出类型拼接而成，规则为：本地代码路径 + 输入输出（input / output） + 参数名称 + ‘_’ + 索引。

    图2 示例
    

• “获取方式”

  以参数名称为“data_path”的训练输入为例，说明获取方式的作用。

  • 当参数的“获取方式”为“超参”时，可以参考如下代码来读取数据。

    import argparse
    parser = argparse.ArgumentParser()
    parser.add_argument('--data_path')
    args, unknown = parser.parse_known_args()
    data_path = args.data_path 

  • 当参数的“获取方式”为“环境变量”时，可以参考如下代码来读取数据。

    import os
    data_path = os.getenv("data_path", "")

输出

单击“添加”，配置训练作业输出信息。

• “参数名称”

  算法代码需要通过“输出”的“参数名称”去读取训练的输出目录。

  建议设置为“train_url”。训练输出参数要与所选算法的“输出”参数匹配。

• “输出路径”

  单击“输出路径”参数右侧的，从OBS桶中选择训练输出数据的存储位置。文件总大小必须小于或等于1GB，文件数必须小于或等于128个，单个文件大小必须小于或等于128MB。

  训练过程中，系统将自动从训练容器的本地代码目录下同步文件到数据存储位置。

  输出数据的存储位置仅支持OBS存储。为避免和训练输入数据存储冲突，建议选择一个空目录用作输出数据存储位置。

• “获取方式”

  以参数名称为“train_url”的训练输出为例，说明获取方式的作用。

  • 当参数的“获取方式”为“超参”时，可以参考如下代码来读取数据。

    import argparse
    parser = argparse.ArgumentParser()
    parser.add_argument('--train_url')
    args, unknown = parser.parse_known_args()
    train_url = args.train_url 

  • 当参数的“获取方式”为“环境变量”时，可以参考如下代码来读取数据。

    import os
    train_url = os.getenv("train_url", "")

• “容器内访问路径”：数据输入通道映射的容器本地路径。
  • “输出”的本地路径不支持修改，此路径由系统自动设置。

  • 值为参数名称、本地代码路径、索引和输入输出类型拼接而成，规则为：本地代码路径 + 输入输出（input / output） + 参数名称 + ‘_’ + 索引。

• “预下载至容器目录”

  选择是否将输出目录下的文件预下载至训练容器中。

  • 否：表示启动训练作业时不会将输出数据存储位置中的文件下载到训练容器的本地代码目录中。
  • 是：表示系统会在启动训练作业时自动将输出数据存储位置中的所有文件下载到训练容器的本地代码目录中。下载时间会随着文件变大而变长，为了防止训练时间过长，请及时清理无用文件。增量模型训练或设置断点续训练场景下，必须选择“是”。

超参

超参用于训练调优。此参数由选择的算法决定，如果在算法中已经定义了超参，则此处会显示算法中所有的超参。

超参支持修改和删除，状态取决于算法中的超参“约束”设置，详情请参见表6。

• 单击“添加”，添加超参信息，总数不超过100条。
• 单击“本地上传”可以本地批量导入超参，需要按模板填写超参且总数不能超过100条，否则会导入失败。

环境变量

根据业务需求增加环境变量。训练容器中预置的环境变量请参见管理训练容器环境变量。

• 单击“添加”，添加环境变量信息，总数不超过100条。
• 单击“本地上传”可以本地批量导入环境变量，需要按模板填写环境变量且总数不能超过100条，否则会导入失败。

自动重启

设置训练作业是否设置自动重启。

• 不勾选（默认）：表示不启用自动重启，训练异常则直接停止作业。
• 勾选：表示当由于环境问题、作业卡死等原因导致训练作业异常时，系统将自动检测故障问题并根据相应策略进行处理，以提高训练成功率。训练作业恢复策略已支持进程级、容器级、作业级自动重启，无需配置，自动匹配与升级恢复策略。

  为了避免丢失训练进度、浪费算力，开启此功能前请确认代码已适配断点续训，操作指导请参见设置断点续训练。

  当训练过程中触发了自动重启，则系统会记录重启信息，在训练作业详情页可以查看故障恢复详情，具体请参见训练作业容错检查。

最大重启次数

当勾选“自动重启”时可配置。

当训练作业的自动重启次数达到最大重启次数，且训练作业依旧异常，则直接停止作业。

• 缺省值：3
• 取值范围：1~128

提交创建训练作业后不支持修改重启次数，请合理设置次数。

无条件自动重启

当勾选“自动重启”时可配置。勾选无条件自动重启后，只要系统检测到训练异常，就无条件重启训练作业。为了避免无效重启浪费算力资源，系统最多只支持连续无条件重启3次。

作业卡死重启

当勾选“自动重启”时可配置。系统支持自动监控作业进程的状态和资源利用率来判定作业是否卡死，开启此开关后，支持将标记为卡死的作业进行进程级自动重启，以提高资源使用率。

CPU规格不支持作业卡死重启。

因系统无法核实代码逻辑且检测存在周期性，卡死检测存在一定的误报概率，开启开关即表示接受误报率。为了避免无效重启浪费算力资源，系统最多只支持连续作业卡死重启3次。

算子重执行

默认不展示，需要符合一定的条件才会展示“算子重执行”开关。

开启算子重执行，可以解决当超节点网络链路故障时导致的训练作业通信异常的问题。

开启对训练任务的性能有较大影响。

详细介绍和约束条件请参见配置算子重执行章节。

作业优先级

• 使用专属资源池创建训练作业时，支持使用和修改训练作业的调度优先级。使用公共资源池时，不支持此参数配置。
• 作业默认按照优先级从高到低依次处理，对于相同优先级的任务，则根据提交时间的先后顺序进行调度，最终结合实际的资源情况决定调度顺序(保证在资源充足、相同优先级下，先提交的任务先调度)。
• 修改选择数字后可修改作业进入队列的优先级。优先级可以设置数字1-3，数字越大，优先级越高，默认优先级为“1”，最高优先级为“3”。
• 设置优先级为“3”时，还需要配置用户权限才会生效。用户权限设置请参见“设置作业为高优先级权限”。
• 如果训练作业长时间处于“等待中”的状态，则可以通过修改作业优先级来减少排队时长，请参见修改训练作业优先级。

允许被抢占

• 使用专属资源池创建训练作业时，允许设置训练作业被抢占。使用公共资源池时，不支持此参数配置。
• 开启后，当资源池剩余资源不足时，允许被抢占的作业可能会被终止并重新排队。为避免训练进度丢失，请在开启此功能前完成断点续训的设置，操作指导请参考设置断点续训练。

自动停止

选择是否启用训练作业自动停止。

• 不勾选（默认）：表示训练作业将一直运行直至训练完成。
• 勾选：表示启用自动停止功能，此时必须配置自动停止时间，支持设置为“1小时”、“2小时”、“4小时”、6小时或“自定义”，自定义时间取值范围为1~720小时。启用该参数并设置时间后，运行时长到期后将会自动终止训练，准备排队等状态不扣除运行时长。

永久保存日志

当实例规格选择Ascend资源时，默认开启“永久保存日志”，不允许修改。

当实例规格选择CPU或GPU资源时，支持选择是否打开“永久保存日志”开关。

• 勾选（默认）：表示永久保存日志，此时必须配置“日志路径”，平台会将训练日志永久保存至指定的OBS路径。
• 不勾选：表示不永久保存日志，则训练日志会在30天后会被清理。可以在作业详情页下载全部日志至本地。

日志路径

当开启“永久保存日志”时，必须配置“日志路径”，用于存放训练作业产生的日志文件。

建议选择一个空的OBS文件目录存放运行中产生的日志文件，同时需要OBS文件目录的读写权限。

事件通知

选择是否启用训练作业的事件通知。

• 不勾选（默认）：表示不启用消息通知服务。
• 勾选：表示订阅消息通知服务，当训练作业发生特定事件（如作业状态变化或疑似卡死）时会发送通知。此时必须配置“主题名”和“事件”。
  • “主题名”：事件通知的主题名称。单击“创建主题”，前往消息通知服务中创建主题，并为主题添加订阅。当订阅状态为“已确认”后，方可收到事件通知。订阅主题的详细操作请参见添加订阅。
  • “事件”：选择要订阅的事件类型。例如“作业开始”、“作业结束”、“作业失败”“”、“作业终止”“”、“作业疑似卡死”“”、“作业重启”、“作业抢占”等。

生成节点间SSH免密互信文件

选择是否生成节点间SSH免密互信文件。

• 不勾选（默认）：表示不生成节点间SSH免密互信文件。
• 勾选：表示生成节点间SSH免密互信文件。在使用基于MPI和Horovod框架的自定义镜像进行分布式训练时，为确保节点间的通信顺畅，必须配置节点间SSH免密互信，确保分布式训练任务顺利进行。

  同时还需配置“SSH免密互信文件目录”，即自动生成的SSH密钥文件在训练容器中所在的目录，默认值为“/home/ma-user/.ssh”。更多操作指导请参见自定义镜像训练作业配置实例间SSH免密互信。

标签

当需要使用同一标签标识多种云资源时，即所有服务均可在标签输入框下拉选择同一标签，则建议在TMS中创建预定义标签。标签详细用法请参见使用TMS标签实现资源分组管理。

最多支持添加20条标签。