# 创建自定义训练作业 #### 场景描述 ![](https://support.huaweicloud.com/usermanual-standard-modelarts/public_sys-resources/note_3.0-zh-cn.png) 1. 本章节内容仅适用于控制台界面为新版样式的站点，请参考[新旧控制台说明](https://support.huaweicloud.com/usermanual-standard-modelarts/develop-modelarts-0001.html#ZH-CN_TOPIC_0000002634882874__section72231050615)了解如何切换新旧控制台。 2. 如需在旧版控制台创建训练作业，请参考[创建训练作业（旧版控制台页面）](https://support.huaweicloud.com/usermanual-standard-modelarts/develop-modelarts-0022.html)。 在模型开发过程中，如何高效地优化模型性能是一个关键挑战。传统的模型训练方式往往需要反复尝试不同的模型结构、数据集和超参数组合，这不仅耗时耗力，还可能导致训练效果不理想。针对这一问题，ModelArts的训练模块提供了一套完整的解决方案。它支持创建训练作业、实时监控训练进展以及管理训练版本，帮助用户系统化地优化模型性能。通过ModelArts，用户可以轻松试验不同的模型结构、数据集和超参数组合，从而快速找到最优的模型配置和权重。 创建生产环境的训练作业有2种方式： - 通过ModelArts控制台的方式创建生产环境的训练作业。 - 通过ModelArts提供的API接口创建生产环境的训练作业，详细操作请参见[使用API创建训练作业](https://support.huaweicloud.com/usermanual-standard-modelarts/develop-modelarts-0139.html)章节。 #### 约束限制 - 作业额度：默认支持创建10000条训练作业，剩余额度可以在训练作业列表页查看。 - 存储限制：ModelArts不支持已启用桶加密功能的OBS桶，请在创建OBS桶时勿开启此选项。 #### 前提条件 - 由于训练作业运行需消耗资源，为了避免训练失败请确保账户无欠费。 - 已经将用于训练作业的数据上传至OBS目录。 - 已经在OBS目录下创建了至少1个空的文件夹，用于存储训练输出的内容。 ![](https://support.huaweicloud.com/usermanual-standard-modelarts/public_sys-resources/note_3.0-zh-cn.png) ModelArts不支持加密的OBS桶，创建OBS桶时，请勿开启桶加密。 - 确保使用的OBS目录与ModelArts在同一区域。 - 检查是否配置了访问授权。如果未配置，请参见[快速配置ModelArts委托授权](https://support.huaweicloud.com/permission-modelarts/modelarts_24_0085.html)完成操作。 #### 计费影响 在ModelArts进行模型训练时，会产生计算资源和存储资源的累计值计费。计算资源为训练作业运行的费用。存储资源包括数据存储到OBS或SFS的费用。详见[模型训练计费项](https://support.huaweicloud.com/price-modelarts/price-modelarts-0011.html)。 #### 创建作业操作流程一览 创建训练作业的操作步骤如下所示。 [步骤一：进入创建训练作业页面]：登录控制台，进入训练作业列表。 [步骤二：训练模式]：配置训练模式。 [步骤三：基本信息]：配置作业名称、描述等基本信息。 [步骤四：训练配置]：配置训练作业的镜像、启动命令和环境变量等参数。 [步骤五：资源配置]：配置资源池类型、实例规格、实例数、存储挂载、作业优先级和允许被抢占等信息。 [步骤六：数据配置]：配置数据集。 [步骤七：存储训练产物]：配置训练的模型是否发布到资产。 [步骤八：高可用配置]：配置自动重启（无条件自动重启、作业卡死重启）等信息。 [步骤九：访问配置]：配置调试、SSH远程开发和生成节点间SSH免密互信文件等。 [步骤十：可观测配置]：配置TensorBoard、MindStudio Insight和采集Prometheus指标信息。 [步骤十一：更多配置]：配置日志、作业可见范围、自动停止、事件通知和标签等信息。 [步骤十二：提交与查看]：提交作业，查看训练作业详情，手动发布最终模型。 #### 步骤一：进入创建训练作业页面 1. 登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)。 2. 在左侧导航栏中，选择"模型开发与训练 \> 模型训练"进入训练作业列表。 3. 单击"创建训练作业"，进入创建训练作业页面，默认进入新版页面，以下内容主要介绍新版创建训练页面操作。 #### 步骤二：训练模式 表1训练模式 | 训练模式 | 解释说明 | |:---|:---| | 自定义作业 | 适用于希望完全自定义训练流程，使用自研代码或特定框架镜像的场景。高自由度模型训练，允许用户使用自定义Docker镜像和算法对模型训练进行深度定制，完全开放训练流程控制权。 此处选择"自定义作业"模式。 | | 精调作业 | 适用于基于已有预训练模型（如盘古大模型、ResNet等）进行微调的场景。 | #### 步骤三：基本信息 在创建训练作业页面选择自定义作业，完成基础配置。 表2基础配置 | 参数名称 | 说明 | |:---|:---| | 作业名称 | 必填，训练作业的名称。 系统会自动生成一个名称，可以根据业务需求重新命名，命名规则如下： - 支持1\~64位字符。 - 可以包含大小写字母、数字、中划线（-）或下划线（_）。 | | 描述（可选） | 训练作业的简介，便于在训练作业列表了解作业信息。 请输入 0-256 位字符，输入内容应只包含大小写字母、中文、数字、空格、中划线、下划线、 逗号和句号。 | #### 步骤四：训练配置 表3训练配置 | 参数名称 | 说明 | |:---|:---| | 预置模板（可选） | 单击"选择预置模板"，根据需求过滤预置模板的类型（当前支持文本生成和图像理解）、品牌（当前支持Qwen），选择模板。 选择预置模板后，部分模板将自动填充当前作业的描述（可选）、选择镜像、启动命令、代码目录、本地代码目录和环境变量等。请以实际情况为准。 用户也可在此基础上调整配置。 | | 选择镜像 | 指定运行训练代码的容器镜像，有以下两种镜像： **预置镜像：**选择平台提供的常用框架镜像（如PyTorch 1.8、TensorFlow 2.1），适合大多数常见场景。 **自定义镜像：**选择使用您自己制作并推送至SWR镜像仓库的镜像或已注册镜像。 - 支持在SWR基础版和企业版的仓库中选择镜像。 - 已注册镜像：用户在ModelArts的"资产管理 \> 镜像"中已注册的镜像。 当平台预置的基础镜像无法满足您的依赖需求时，支持自定义镜像进行训练，所需镜像需提前注册到ModelArts镜像管理上。 | | 启动命令 | 容器启动后执行的命令，用以启动您的训练脚本。 - 如果训练启动脚本用的是py文件，例如"train.py"，则启动命令如下所示。 ``` python ${MA_JOB_DIR}/demo-code/train.py ``` - 如果训练启动脚本用的是sh文件，例如"main.sh"，则启动命令如下所示。 ``` bash ${MA_JOB_DIR}/demo-code/main.sh ``` 启动命令支持使用";"和"\&\&"拼接多条命令，命令中的"demo-code"为存放代码目录的最后一级OBS目录，以实际情况为准。 说明： - 为保证数据安全，请勿输入敏感信息，例如明文密码。 - 如果您的训练镜像为自定义镜像，在.bashrc文件设置了环境变量等信息，请在执行启动脚本之前先执行如下命令后，再执行启动命令。 ``` source /home/ma-user/.bashrc ; bash ${MA_JOB_DIR}/demo-code/main.sh ``` | | 代码目录（可选） | 选择训练代码文件所在的OBS目录。当"选择镜像"选择"预置镜像"时，该参数必填；当"选择镜像"选择"自定义镜像"时，该参数可选。用户自己的OBS桶可以在界面选择，也可以手动输入路径，路径格式以"obs://"开头并以"/"结尾，例如"obs://bucketname/path/"。其他人的共享桶路径仅支持手动输入地址。obs桶中后缀为.txt、.py、.sh、.yaml的文件可以在线编辑，后缀为.log、.json、.md的文件可以在线查看。 - 需要提前将代码上传至OBS桶中，目录内文件总大小必须小于或等于5GB，文件数必须小于或等于1000个，文件深度必须小于或等于32。如果有预训练模型也请放置在代码目录下。 - 训练代码文件会在训练作业启动的时候被系统自动下载到训练容器的"${MA_JOB_DIR}/demo-code"目录中，"demo-code"为存放代码目录的最后一级OBS目录。例如，"代码目录"选择的是"obs://test/code"，则训练代码文件会被下载到训练容器的"${MA_JOB_DIR}/code"目录中。 | | 代码备份目录（可选） | 选择将**代码目录**下的文件备份到指定OBS目录。 - 需要提前创建obs目录。比如obs中创建目录为obs://test/record-dir。 - 训练作业启动的时候会自动地将训练容器本地代码最后一级**文件** **夹** 及文件夹中的**所有** **文件** 备份至${MA_RECORD_CODE_DIR_OBS}/${ma_job_name}-${MA_TASK_NAME}-${task_index}/user-job-dir/demo-code，demo-code为训练容器中本地代码目录的最后一级文件夹名称。 例如，代码备份目录选择的是obs://test/record-dir，训练容器中本地代码目录默认是/home/ma-user/modelarts/user-job-dir/test-code，则训练容器中本地代码文件夹test-code及test-code文件夹下的文件会被备份至obs://test/record-dir/${ma_job_name}-${MA_TASK_NAME}-${task_index}/user-job-dir/test-code目录中。 | | 本地代码目录 | 用于指定训练容器的本地目录，启动训练时系统会将代码目录下载至此目录，默认本地代码目录为"/home/ma-user/modelarts/user-job-dir"。 本地代码目录不支持在/home/ma-user/modelarts/\*，/home/ma-user/modelarts-dev/\*，/home/ma-user/infer/\*目录下，也不支持配置成/home/ma-user。 单击右侧的"运行环境预览"，可以查看训练作业的工作目录。 | | 环境变量 | 根据业务需求增加环境变量。训练容器中预置的环境变量请参见[管理训练容器环境变量](https://support.huaweicloud.com/usermanual-standard-modelarts/develop-modelarts-0104.html)。 - 单击"添加"，添加环境变量信息，总数不超过100条。 - 单击"本地上传"可以本地批量导入环境变量，需要按模板填写环境变量且总数不能超过100条，否则会导入失败。 说明： 为保证数据安全，请勿输入敏感信息，例如明文密码。 | #### 步骤五：资源配置 表4资源配置 | 参数名称 | 说明 | |:---|:---| | 资源池类型 | - "公共资源池"：公共资源池由系统提供，供平台所有租户共享使用，不需要用户创建。 - "专属资源池"：专属资源池需要提前单独创建，不与其他租户共享，具体创建操作请参见[创建专属资源池](https://support.huaweicloud.com/resmgmt-modelarts/resmgmt-modelarts_0004.html)。 | | 资源池 | 仅选择"专属资源池"后出现此参数，在"资源池"中单击"选择资源池"，在右侧弹窗中选择要使用的专属资源池或者逻辑子池后，单击"确定"。 选择界面支持查看当前专属资源池的名称、节点池规格、可用节点数/最大节点数、可用NPU/GPU设备数、可用CPU（vCPUs）、可用内存（GiB）以及资源碎片。单击资源碎片列的"查看"可以查看碎片详情，确认资源池是否满足训练需求。 选择完成后，此处会展示所选资源池信息，也可单击"重新选择"再次选择资源池。 | | 规格类型 | 当选择"专属资源池"时，会显示此参数。支持以下2种规格类型： - "预置规格"：选择该专属资源池中预置的"实例规格"。请确保已选择的规格有足够的磁盘空间下载输入文件。 - "自定义规格"：训练作业支持基于专属资源池的规格自定义资源规格，可自行选择CPU (vCPU)、内存(GB)和实例数，进而提升资源池的利用率。自定义规格只能小于或等于专属资源池的"节点规格"。 - CPU规格只支持自定义核数和内存，GPU和Ascend规格支持自定义核数、内存和卡数。 图1实例规格 ![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000002661014715.png "点击放大") | | 实例规格 | 资源池类型为"专属资源池"时，需要先选定"资源池"，资源池类型为"公共资源池"时直接单击，然后在右侧弹窗中选择实例规格后，单击"确定"。 - 最上方显示了CPU、NPU和GPU规格类型，下方表格可查看规格名称、内存、规格参考价等详情。 - 规格名称中体现了节点规格的卡数、卡型号、CPU/GPU以及内存大小等信息。 - 如果部分资源类型不可见或不可选，表示不支持。 说明： - 实例规格为"GPU:n\*tnt004"（n表示具体数字）的资源不支持多进程的训练作业。 - 资源池类型为"公共资源池"时：使用自定义镜像（创建方式为自定义算法，启动方式为自定义）创建作业时，请确保您的"镜像"类型、"资源类型"和"实例规格"类型保持一致（例如：均为GPU类型）。否则会导致训练作业失败。 | | 实例数 | 必填，根据需要选择实例数的个数。默认值为"1"。 - 当"实例数 = 1"时，创建的是单机训练作业，ModelArts只会在一个节点上启动一个训练容器，该训练容器独享所选规格的计算资源。 - 当"实例数 \> 1"时，创建的是分布式训练作业，更多分布式训练配置请参见[分布式训练功能介绍](https://support.huaweicloud.com/usermanual-standard-modelarts/modelarts-distributed-0001.html)。 **当资源池配置了热备节点后，部分节点将作为高可用备用节点预留，仅在节点异常时用于故障恢复，无法用于训练作业调度，因此可创建的训练作业实例数会相应减少。** 关于如何关闭热备节点，请参见[修复专属资源池故障节点](https://support.huaweicloud.com/resmgmt-modelarts/resmgmt-modelarts_0059.html)。 在创建分布式训练作业前，建议提前安装所有的pip依赖，因为当节点数大于10时，系统会自动删除pip源配置，当训练过程中涉及pip install操作时可能会训练失败。 | | 指定亲和节点 | 仅专属资源池支持配置。为训练作业配置超节点和节点亲和性。勾选后开启。 开启后，支持精细控制Pod的部署策略：严格部署（强亲和）、尽量部署（弱亲和）、禁止部署（强反亲和）、避免部署（弱反亲和）。 **亲和类型：** 节点亲和：要求训练作业的所有实例必须或者尽量调度到选择的节点上。 节点反亲和：要求训练作业的所有实例必须或者尽量不调度到选择的节点上。 **强度：**亲和强弱。 弱：尽量将Pod调度到指定节点，不保证成功。 强：严格将Pod调度到指定节点，否则不执行调度。 **超节点亲和方式：**仅超节点资源池支持。 超节点层级，当前仅支持训练作业的所有实例在1个亲和组内（即超节点亲和组实例数=实例数）的场景，适用于希望业务流量不跨超节点的训练。 随机子节点：系统随机调度至目标超节点内的子节点。 指定子节点：按指定节点调度。 **选择超节点：**选择需要配置的超节点。仅超节点资源池支持。 **选择节点：**选择需要配置的节点。 | | 挂载存储 | 资源规格选择"专属资源池"时，支持添加多种存储挂载方式，以提高数据的访问效率。两种区别可参见[表2](https://support.huaweicloud.com/usermanual-standard-modelarts/develop-modelarts-0023.html#ZH-CN_TOPIC_0000002631426040__table105836197194)。 - "添加拓展存储SFS Turbo"： 当ModelArts和SFS Turbo间网络直通时，训练作业支持挂载多个SFS Turbo存放训练数据。文件系统支持重复挂载，但是挂载路径不可重复。最多可以挂载15个盘。配置ModelArts和SFS Turbo间网络直通，具体操作请参见[配置ModelArts和SFS Turbo间网络直通](https://support.huaweicloud.com/bestpractice-sfsturbo/sfsturbo_03_0025.html)。 图2SFS Turbo ![](https://support.huaweicloud.com/usermanual-standard-modelarts/figure/zh-cn_image_0000002558285538.png "点击放大") - "文件系统"：选择一个可用的SFS Turbo。 - "文件系统目录"：选择SFS Turbo的存储位置。如果用户配置了文件夹控制权限，请选择存储位置；如果用户未配置文件夹控制权限，可以保持默认值"/"或者自定义位置。 - "挂载路径"：输入SFS Turbo对应在训练容器内的挂载路径。不能为"/"目录，不能为"/cache"、"/home/ma-user/modelarts"等系统已经默认挂载的路径。 - "挂载方式"：显示挂载SFS Turbo的权限。根据SFS Turbo存储位置的权限显示"读写"或"只读"，如果用户未配置文件夹控制权限，则该参数不可见。如果需要设置SFS Turbo的文件夹权限，请参考[权限管理](https://support.huaweicloud.com/bestpractice-modelarts/modelarts_24_0137.html)文档配置。 - "挂载参数"：支持配置SFS挂载参数实现训练加速优化，具体参数说明请参见[设置训练存储加速](https://support.huaweicloud.com/usermanual-standard-modelarts/develop-modelarts-1421.html#ZH-CN_TOPIC_0000001965772184__section3455112213546)。不设置时，默认配置如下参数： ``` mountOptions: - vers=3 - timeo=600 - nolock - hard ``` 说明： 当用户配置拓展存储SFS Turbo时，前端页面会自动从**SFS Turbo**服务获取最新的存储容量和配置信息，以确保数据有效性和准确性。 1. [查询文件系统详细信息](https://support.huaweicloud.com/api-sfsturbo/ShowShare.html)。 2. [获取文件系统列表](https://support.huaweicloud.com/api-sfsturbo/ListShares.html)。 - "添加对象存储OBS-对象桶"： 训练作业支持挂载一个OBS桶用于存放训练数据。添加桶参数配置如下： "存储地址"：选择OBS拓展存储的存储位置。如果用户配置了文件夹控制权限，请选择存储位置；如果用户未配置文件夹控制权限，可以保持默认值"/"或者自定义位置。用户自己的OBS桶可以在界面选择，也可以手动输入路径，路径格式以"obs://"开头并以"/"结尾，例如"obs://bucketname/path/"。其他人的共享桶路径仅支持手动输入地址。 "挂载路径"：输入OBS对应在训练容器内的挂载路径。不能为"/"目录，不能为"/cache"、"/home/ma-user/modelarts"等系统已经默认挂载的路径。 警告： 1. 由于对象存储（OBS）的对象语义与POSIX文件系统不同，rclone通过FUSE方式提供"类文件系统"访问，存在以下限制： - **写入语义限制**：不支持随机写入和追加写入，不支持对已有文件进行原地修改，包括随机写（seek write）和追加写（append）。例如，以r+、w+、a或a+模式打开并修改同一文件，或不断追加写入日志文件（如bash while true; do echo "$(date) line" \>\> app.log; sleep 1; done）。 - **权限限制**：挂载显示的权限多为rclone伪造（或统一映射），不能作为真实的多用户权限系统使用，因此无法使用chmod或chown修改文件权限。 - **并发写入限制**：并发写入同一路径的行为不可控，多个进程写入同一文件时无法确认最终内容。 - **链接限制**：不支持硬链接，符号链接可能被当作普通文件存储（保存链接文本）。例如，ln -s target.txt link.txt可能会导致直接失败，或者link.txt被当成普通文件上传，内容是字符串target.txt。 2. 在训练过程中请勿卸载存储，否则训练进程将进入不可中断的睡眠状态（D状态：TASK_UNINTERRUPTIBLE），导致后续训练作业失败。 | | 作业调度优先级 | - 使用专属资源池创建训练作业时，支持使用和修改训练作业的调度优先级。使用公共资源池时，不支持此参数配置。 - 作业默认按照优先级从高到低依次处理，对于相同优先级的任务，则根据提交时间的先后顺序进行调度，最终结合实际的资源情况决定调度顺序(保证在资源充足、相同优先级下，先提交的任务先调度)。 - 修改选择数字后可修改作业进入队列的优先级。优先级可以设置数字1-3，数字越大，优先级越高，默认优先级为"1"，最高优先级为"3"。 - 设置优先级为"3"时，还需要配置用户权限才会生效。用户权限设置请参见"[设置作业为高优先级权限](https://support.huaweicloud.com/usermanual-standard-modelarts/develop-modelarts-0105.html#ZH-CN_TOPIC_0000001965755368__section8495153204314)"。 - 如果训练作业长时间处于"等待中"的状态，则可以通过修改作业优先级来减少排队时长，请参见[优先级和调度策略](https://support.huaweicloud.com/usermanual-standard-modelarts/develop-modelarts-0105.html)。 | | 允许被抢占 | - 使用专属资源池创建训练作业时，允许设置训练作业被抢占。使用公共资源池时，不支持此参数配置。 - 开启后，当资源池剩余资源不足时，允许被抢占的作业可能会被终止并重新排队。为避免训练进度丢失，请在开启此功能前完成断点续训的设置，操作指导请参考[高可靠性前置准备：断点续训练](https://support.huaweicloud.com/usermanual-standard-modelarts/develop-modelarts-0023.html)。 | #### 步骤六：数据配置 表5数据配置 | 参数名称 | 说明 | |:---|:---| | 训练集 | 训练集用于提升模型在特定任务上的表现。 目前支持最多选择三个数据集进行训练，支持混选"预置数据"或"我的数据"。 预置数据：平台官方提供的模板数据。 我的数据：用户上传的个人数据。如果无法选择到已有的数据资产，请前往"资产管理 \> 数据"进行上线操作。 | #### 步骤七：存储训练产物 | 参数名称 | 说明 | |:---|:---| | 存储训练产物 | 开启后，模型训练的产物可在训练任务详情管理并支持发布成模型资产，发布后的资产可在平台完成推理、评测等操作 | | 存储地址 | - 存储地址：模型训练作业过程中的产物在OBS的桶路径。用户自己的OBS桶可以在界面选择，也可以手动输入路径，路径格式以"obs://"开头并以"/"结尾，例如"obs://bucketname/path/"。其他人的共享桶路径仅支持手动输入地址。 | | 挂载路径 | 存储训练产物的OBS桶路径在训练容器中的挂载点，用户可自定义该路径。不支持配置为/home/、/home/ma-user/、/home/ma-user/modelarts/等系统目录。路径仅支持字母、数字、中划线、下划线和反斜杠。 | | 自动发布最终模型 | 勾选开关后，会将模型训练的最终产物（CKPT）发布为模型，发布后的模型将自动上传至"资产管理-我的模型"。默认不勾选，后续仍可在作业详情中手动发布。 | | 选择发布方式 | 训练后的模型可以发布为**新模型** 或**已有模型新版本。** **新模型**：发布的模型为一个全新的模型，在"资产管理-我的模型"中是一个新的资产模型。 **已有模型新版本**：发布的模型是"资产管理-我的模型"中的同一个命名的模型，仅模型版本号有变化。 | | 模型名称 | 设置新模型的名称。 支持2-128位，只包含中文、字母、数字、中划线、下划线，且以中文、字母开头，以中文、字母、数字结尾。 | | 模型类型 | 选择发布为新模型时需要配置模型类型，根据发布的模型类型选择。 当前可根据模型模态选择文本生成、图像理解、图像生成、视频生成和其他。 | | 模型品牌 | 选择发布为新模型时需要配置模型品牌，根据训练使用的模型品牌选择为发布模型品牌。 | | 模型资产描述（可选） | 训练后模型的描述信息。当选择发布方式为"新模型"时需要填写该字段。 | | 模型版本号 | 发布为新模型时，版本号为V1。 发布为已有模型新版本时，版本号在该模型上一个版本号自动加1。 **注意：**模型版本号不支持修改，为系统自动生成。 | | 版本描述（可选） | 训练后模型的描述信息。该字段可选，最大长度256字符。 | #### 步骤八：高可用配置 表6高可用配置 | 参数名称 | 说明 | |:---|:---| | 容错与恢复 | 设置训练作业是否设置自动重启。 - 不勾选（默认）：表示不启用自动重启，训练异常则直接停止作业。 - 勾选：当训练作业因环境问题、作业卡死等原因异常时，系统将自动检测故障并根据相应策略处理，提高训练成功率。系统支持进程级、容器级、作业级自动重启恢复策略，无需额外配置，可自动匹配与升级恢复策略。 为了避免丢失训练进度、浪费算力，开启此功能前请确认代码已适配断点续训，操作指导请参见[高可靠性前置准备：断点续训练](https://support.huaweicloud.com/usermanual-standard-modelarts/develop-modelarts-0023.html)。 当训练过程中触发了自动重启，则系统会记录重启信息，在训练作业详情页可以查看故障恢复详情，具体请参见[开启和查看高可用配置](https://support.huaweicloud.com/usermanual-standard-modelarts/modelarts_trouble_0003.html)。 | | 最大重启次数 | 当勾选"容错与恢复"时可配置。 当训练作业的自动重启次数达到最大重启次数，且训练作业依旧异常，则直接停止作业。设置最大重启次数的目的是为了保证训练作业反复重启不生效后，强制停止作业，避免资源浪费。 - 默认值：3 - 取值范围：1\~128 | | 无条件自动重启 | 当勾选"容错与恢复"时可配置，ModelArts检测到训练作业异常，就无条件重启训练作业。为避免无效重启，系统仅支持**连续**无条件重启3次。 **说明：** **无条件自动重启** 会占用**最大重启次数**的重启次数。 例如配置了最大重启次数为10次，同时打开了**无条件自动重启** 开关。如果训练作业**连续** 无条件重启了三次，将触发**无条件自动重启。** 如果重启后训练作业仍然反复重启，则**无条件自动重启**不再触发，剩余重启次数为7次。 | | 作业卡死重启 | 系统支持自动监控作业进程的状态和资源利用率来判定作业是否卡死，开启此开关后，支持将标记为卡死的作业进行进程级自动重启，以提高资源使用率。为了避免无效重启浪费算力资源，系统最多只支持**连续作业卡死**重启3次。 说明：**作业卡死重启** 不会占用**最大重启次数**的重启次数。 例如配置了最大重启次数为10次，同时打开了**作业卡死重启** 开关。如果训练作业**连续** 卡死重启了三次，将触发**作业卡死重启。** 如果重启后训练作业仍然反复重启，则**作业卡死重启**不再触发，剩余重启次数为10次。 | #### 步骤九：访问配置 表7访问配置 | 参数名称 | 说明 | |:---|:---| | JupyterLab | 开启后，可支持JupyterLab等开发工具进行在线调试。 | | SSH远程开发 | 勾选开启后，可以通过本地IDE远程连接到训练作业实例，进行代码的在线调试与运行。系统将自动为每个实例启动SSHD服务，并配置实例间的SSH免密登录，以便于跨节点协同操作。 需创建密钥对。单击**密钥对** 下拉框右侧"立即创建"，打开**云服务控制台。**单击右上角"创建密钥对"或"导入密钥对"设置新的密钥对。 勾选**SSH远程开发**后，"生成节点间SSH免密互信文件"功能不可用。 | | 生成实例间SSH免密互信文件 | 选择是否生成实例间SSH免密互信文件。 - 不勾选（默认）：表示不生成实例间SSH免密互信文件。 - 勾选：表示生成实例间SSH免密互信文件。在使用基于MPI和Horovod框架的自定义镜像进行分布式训练时，为确保实例间的通信顺畅，必须配置实例间SSH免密互信，确保分布式训练任务顺利进行。 同时还需配置"SSH免密互信文件目录"，即自动生成的SSH密钥文件在训练容器中所在的目录，默认值为"/home/ma-user/.ssh"。更多操作指导请参见[自定义镜像训练作业配置实例间SSH免密互信](https://support.huaweicloud.com/usermanual-standard-modelarts/develop-modelarts-0032.html)。 勾选后，"SSH远程开发"功能不可用。 | #### 步骤十：可观测配置 表8可观测配置 | 参数名称 | 说明 | |:---|:---| | TensorBoard | TensorBoard是TensorFlow的可视化工具包，提供机器学习实验所需的可视化功能和工具。TensorBoard能够有效地展示训练过程中的计算图、各种指标随时间的变化趋势以及训练中使用到的数据信息，相关概念请参考[TensorBoard官网](https://www.tensorflow.org/tensorboard?hl=zh-cn)。 在训练过程中，训练指标参数量多，存储数据量大，需用到华为SFS Turbo存储相关指标数据。勾选TensorBoard开关后，SFS Turbo配置如下： **高性能弹性文件服务SFS Turbo**：选择一个可用的SFS Turbo存储。 **存储路径**：设置SFS Turbo在训练容器中的挂载路径。默认挂载路径为/home/ma-user/summary。 **注意：** 1. 使用公共资源池时，不支持此参数配置。 2. TensorBoard和MindStudio Insight开关仅支持选择二者中的一个。 | | MindStudio Insight | MindStudio Insight能可视化展现出训练过程中的标量、图像、计算图以及模型超参等信息，支持基于MindSpore引擎的训练作业。MindStudio Insight相关概念请参考[MindSpore官网](https://www.mindspore.cn/)。 开启后，针对训练中耗时超预期、资源利用率失衡等性能劣化问题，可实时观测step耗时曲线；当性能劣化超限时，支持自动或手动采集profiling数据，采集完成后通过可视化工具MindStudio Insight提供可视化分析结果。 在训练过程中，训练指标参数量多，存储数据量大，需用到华为SFS Turbo存储相关指标数据。勾选TensorBoard开关后，SFS Turbo配置如下： **高性能弹性文件服务SFS Turbo**：选择一个可用的SFS Turbo存储。 **存储路径**：设置SFS Turbo在训练容器中的挂载路径。 **注意：** 1. 使用公共资源池时，不支持此参数配置。 2. TensorBoard和MindStudio Insight开关仅支持选择二者中的一个。 | | 监控指标对接AOM | 选择是否启用采集Prometheus指标。通过在训练容器里配置采集Prometheus指标的参数，在训练过程中，系统会定时获取指标数据上传到AOM，您可以直接在AOM控制台查看自定义的Prometheus指标。 ModelArts提供了2种配置方式。 - 方式一：用户提供一个可被平台调用的HTTP进程来定时获取指标。操作指导请参见[通过Prometheus指标采集到AOM（HTTP）](https://support.huaweicloud.com/usermanual-standard-modelarts/develop-modelarts-1424.html#ZH-CN_TOPIC_0000002089778766__section4550113418400)。 - "获取指标类型"选择"http获取指标"。 - 填写"采集URL"和"采集端口"， 该方式要确保配置的URL和端口号与指标采集进程一致，否则可能导致指标无法上报，同时，训练作业所在的网络环境要允许访问配置的URL和端口号，避免因网络问题导致指标采集失败。 - 方式二：用户提供一个可被平台执行的Linux命令来定时执行获取指标。操作指导请参见[通过Prometheus指标采集到AOM（Command）](https://support.huaweicloud.com/usermanual-standard-modelarts/develop-modelarts-1424.html#ZH-CN_TOPIC_0000002089778766__section106641547144214)。 - "获取指标类型"选择"命令行获取指标"。 - "执行命令"：读取指标的Linux命令，例如填写"cat"。 - "执行命令参数"：填写自定义指标文件的路径，例如"/XXX/a.prom"。 该方式要确保配置的执行命令和执行命令参数是可以稳定输出指标的，且响应要在秒级，否则指标可能会采集失败。 | #### 步骤十一：更多配置 | 参数名称 | 说明 | |:---|:---| | 永久保存日志 | 当实例规格选择Ascend资源时，默认开启"永久保存日志"。 当实例规格选择CPU或GPU资源时，支持选择是否打开"永久保存日志"开关。 - 勾选（默认）：表示永久保存日志，此时必须配置"日志路径"，平台会将训练日志永久保存至指定的OBS路径。 - 不勾选：表示不永久保存日志，训练日志会在30天后会被清理。可以在作业详情页下载全部日志至本地。 | | 日志路径 | 当开启"永久保存日志"时，必须配置"日志路径"，用于存放训练作业产生的日志文件。 建议选择一个空的OBS文件目录存放运行中产生的日志文件，同时需要OBS文件目录的读写权限。用户自己的OBS桶可以在界面选择，也可以手动输入路径，路径格式以"obs://"开头并以"/"结尾，例如"obs://bucketname/path/"。其他人的共享桶路径仅支持手动输入地址。 | | 分时段下载日志 | 开启分时段下载后，系统将启用日志分片存储机制，并支持下载指定时间范围内的日志分片。 | | 作业可见范围 | 分为"工作空间内可见"和"仅创建者可见"。 - "工作空间内可见"：创建的训练作业在当前工作空间内，默认其他子用户均可看到该训练作业。 - "仅创建者可见"：默认创建者可见，其他人希望查看该作业需要额外申请"modelarts:trainJob:listAll"权限（查看训练作业列表（包含仅创建者可见的作业）权限）。 | | 自动停止 | 选择是否启用训练作业自动停止。 - 不勾选（默认）：表示训练作业将一直运行直至训练完成。 - 勾选：表示启用自动停止功能，此时必须配置自动停止时间，支持设置为"1小时"、"2小时"、"4小时"、"6小时"或"自定义"，自定义时间取值范围为1\~720小时。启用该参数并设置时间后，运行时长到期后将会自动终止训练，准备排队等状态不扣除运行时长。 | | 保留时长 | 选择是否在训练任务创建成功或者失败后，保留训练容器的现场环境并设置保留时长。 - 不勾选：当选择**专属资源池**时，不勾选该选项，训练任务成功或者失败后，训练容器的训练现场环境将不再保留，也无法通过CloudShell登录训练容器后台环境查看训练信息。 - 勾选：当选择**专属资源池** 时，可勾选该选项。可根据设置时长在训练任务成功或者失败后继续保留训练容器的训练现场环境对应时长，您可在训练详情页面选择CloudShell登录训练容器的后台环境查看训练信息。 - 当选择**公共资源池**时，保留时长不可勾选。 - 勾选后不支持在**高可用配置** 项配置**容错与恢复**开关。即无法配置自动重启业务。 - 勾选后作业状态会新增已完成保留中和运行失败保留中的状态。即训练作业详情api的返回体中的状态会新增。 - 设置时长可选择1小时、2小时、4小时、6小时和自定义时长。自定义时长范围为1\~720小时。 **说明：**在训练环境保留期间，仍然需要计费，请根据实际需求设置保留时长。 | | 事件通知 | 选择是否启用训练作业的事件通知。 - 不勾选（默认）：表示不启用消息通知服务。 - 勾选：表示订阅消息通知服务，当训练作业发生特定事件（如作业状态变化或疑似卡死）时会发送通知。此时必须配置"主题名"和"事件"。 - "主题名"：事件通知的主题名称。单击"创建主题"，前往消息通知服务中创建主题，并为主题添加订阅。当订阅状态为"已确认"后，方可收到事件通知。订阅主题的详细操作请参见[添加订阅](https://support.huaweicloud.com/usermanual-smn/smn_ug_0008.html)。 - "事件"：选择要订阅的事件类型。例如"作业开始"、"作业结束"、"作业失败"、"作业终止"、"作业疑似卡死"、"作业重启"、"作业抢占"等。 说明： - 使用消息通知服务会产生相关服务费用，详细信息请参见[消息通知服务计费说明](https://support.huaweicloud.com/productdesc-smn/smn_price.html)。 - 只有资源类型为GPU或NPU的训练作业才支持通知"作业疑似卡死"的事件。 | | 标签 | 当需要使用同一标签标识多种云资源时，即所有服务均可在标签输入框下拉选择同一标签，则建议在TMS中创建预定义标签。标签详细用法请参见[使用TMS标签实现资源分组管理](https://support.huaweicloud.com/resmgmt-modelarts/resmgmt-modelarts_0063.html)。 最多支持添加20条标签。 | #### 步骤十二：提交与查看 当参数配置完成后，单击"提交"，创建训练作业任务。 训练作业一般需要运行一段时间，前往训练作业列表，可以查看训练作业的基本情况。 - 在训练作业列表中，刚创建的训练作业状态为"等待中"。 - 当训练作业的状态变为"已完成"时，表示训练作业运行结束，如果已配置自动发布最终模型，其生成模型将存放至模型资产供后续使用。如果训练作业已开启存储训练产物，可选择手动发布最终模型，配置内容参考[步骤七：存储训练产物]。 - 当训练作业的状态变为"运行失败"或"异常"时，可以单击训练作业的名称进入详情页面，通过查看日志等手段处理问题。 #### 常见问题 1. [在ModelArts中训练好后的模型如何获取？](https://support.huaweicloud.com/modelarts_faq/modelarts_05_0360.html) 2. [在ModelArts上如何提升训练效率并减少与OBS的交互？](https://support.huaweicloud.com/modelarts_faq/modelarts_05_0114.html) 3. [如何查看ModelArts训练作业资源占用情况？](https://support.huaweicloud.com/usermanual-standard-modelarts/develop-modelarts-0015.html)