开发用于自定义镜像训练的代码

自定义镜像的启动命令规范

用户遵循ModelArts镜像的规范要求制作镜像，选择自己的镜像，并且通过指定代码目录（可选）和启动命令的方式来创建的训练作业。

图1 创建训练作业选择自定义方式

当使用完全自定义镜像创建训练作业时，“启动命令”必须在“/home/ma-user”目录下执行，否则训练作业可能会运行异常。

在完全使用自定义镜像创建训练作业时，通过指定的“conda env”启动训练。由于训练作业运行时不是shell环境，因此无法直接使用“conda activate”命令激活指定的 “conda env”，需要使用其他方式以达成使用指定“conda env”来启动训练的效果。假设您的自定义镜像中的“conda”安装于“/home/ma-user/anaconda3”目录“conda env”为“python-3.7.10”，训练脚本位于“/home/ma-user/modelarts/user-job-dir/code/train.py”。可通过以下方式使用指定的“conda env”启动训练：

• 方式一：为镜像设置正确的“DEFAULT_CONDA_ENV_NAME”环境变量与“ANACONDA_DIR”环境变量。

  ANACONDA_DIR=/home/ma-user/anaconda3
  DEFAULT_CONDA_ENV_NAME=python-3.7.10

  您可以使用Python命令启动训练脚本。启动命令示例如下：

  python /home/ma-user/modelarts/user-job-dir/code/train.py

• 方式二：使用“conda env python”的绝对路径。
  您可以使用“/home/ma-user/anaconda3/envs/python-3.7.10/bin/python”命令启动训练脚本。启动命令示例如下：

  /home/ma-user/anaconda3/envs/python-3.7.10/bin/python /home/ma-user/modelarts/user-job-dir/code/train.py

• 方式三：设置PATH环境变量。
  您可以将指定的“conda env bin”目录配置到PATH环境变量中。您可以使用Python命令启动训练脚本。启动命令示例如下：

  export PATH=/home/ma-user/anaconda3/envs/python-3.7.10/bin:$PATH; python /home/ma-user/modelarts/user-job-dir/code/train.py

• 方式四：使用“conda run -n”命令。
  您可以使用“/home/ma-user/anaconda3/bin/conda run -n python-3.7.10”命令来执行训练命令，启动命令示例如下：

  /home/ma-user/anaconda3/bin/conda run -n python-3.7.10 python /home/ma-user/modelarts/user-job-dir/code/train.py

如果在训练时发生找不到“$ANACONDA_DIR/envs/$DEFAULT_CONDA_ENV_NAME/lib ”目录下“.so”文件的相关报错，可以尝试将该目录加入到“LD_LIBRARY_PATH”，将以下命令放在上述启动方式命令前：

export LD_LIBRARY_PATH=$ANACONDA_DIR/envs/$DEFAULT_CONDA_ENV_NAME/lib:$LD_LIBRARY_PATH;

例如，方式一的启动命令示例此时变为：

export LD_LIBRARY_PATH=$ANACONDA_DIR/envs/$DEFAULT_CONDA_ENV_NAME/lib:$LD_LIBRARY_PATH; python /home/ma-user/modelarts/user-job-dir/code/train.py

使用Ascend自定义镜像训练时的训练代码适配规范

使用NPU资源创建训练作业时，系统会在训练容器里自动生成Ascend HCCL RANK_TABLE_FILE文件。当使用预置框架创建训练作业时，在训练过程中预置框架会自动解析Ascend HCCL RANK_TABLE_FILE文件，当使用自定义镜像创建训练作业时，就要适配训练代码使得训练过程中在代码里读取解析Ascend HCCL RANK_TABLE_FILE文件。

Ascend HCCL RANK_TABLE_FILE文件说明

Ascend HCCL RANK_TABLE_FILE文件提供Ascend分布式训练作业的集群信息，用于Ascend芯片分布式通信，可以被HCCL集合通信库解析。该文件格式有模板一和模板二两个版本。

• ModelArts提供的是模板二格式。ModelArts训练环境的Ascend HCCL RANK_TABLE_FILE文件名为jobstart_hccl.json，获取方式可以通过预置的RANK_TABLE_FILE环境变量实现。

  表1 RANK_TABLE_FILE环境变量说明

  环境变量	说明
  RANK_TABLE_FILE	该环境变量指示Ascend HCCL RANK_TABLE_FILE文件所在目录，值为/user/config。 算法开发者可通过 “${RANK_TABLE_FILE}/jobstart_hccl.json”，路径获取该文件。

  ModelArts训练环境jobstart_hccl.json文件内容（模板二）示例：

  {
  	"group_count": "1",
  	"group_list": [{
  		"device_count": "1",
  		"group_name": "job-trainjob",
  		"instance_count": "1",
  		"instance_list": [{
  			"devices": [{
  				"device_id": "4",
  				"device_ip": "192.1.10.254"
  			}],
  			"pod_name": "jobxxxxxxxx-job-trainjob-0",
  			"server_id": "192.168.0.25"
  		}]
  	}],
  	"status": "completed"
  }

  jobstart_hccl.json文件中的status字段的值在训练脚本启动时，并不一定为completed状态。因此需要训练脚本等待status字段的值等于completed之后，再去读取文件的剩余内容。

• 通过训练脚本，可以使用模板一格式的jobstart_hccl.json文件，在等待status字段的值等于completed之后，将模板二格式jobstart_hccl.json文件转换为模板一格式的jobstart_hccl.json文件。
  转换后的jobstart_hccl.json文件格式（模板一）示例：

  {
  	"server_count": "1",
  	"server_list": [{
  		"device": [{
  			"device_id": "4",
  			"device_ip": "192.1.10.254",
  			"rank_id": "0"
  		}],
  		"server_id": "192.168.0.25"
  	}],
  	"status": "completed",
  	"version": "1.0"
  }

训练任务在容器中的挂载点说明

使用自定义镜像训练模型时，训练任务在容器中的挂载点参考如表2所示。