# 从0制作自定义镜像用于创建训练作业（MPI+CPU/GPU） 本章节介绍如何从0到1制作镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是MPI，训练使用的资源是CPU或GPU。 ![](https://support.huaweicloud.com/docker-modelarts/public_sys-resources/note_3.0-zh-cn.png) 本实践教程仅适用于新版训练作业。 #### 场景描述 本示例使用Linux x86_64架构的主机，操作系统ubuntu-18.04，通过编写Dockerfile文件制作自定义镜像。 目标：构建安装如下软件的容器镜像，并在ModelArts平台上使用CPU/GPU规格资源运行训练作业。 - ubuntu-18.04 - cuda-11.1 - python-3.7.13 - openmpi-3.0.0 #### 操作流程 使用自定义镜像创建训练作业时，需要您熟悉docker软件的使用，并具备一定的开发经验。详细步骤如下所示： 1. [前提条件] 2. [Step1 创建OBS桶和文件夹] 3. [Step2 准备脚本文件并上传至OBS中] 4. [Step3 准备镜像主机] 5. [Step4 制作自定义镜像] 6. [Step5 上传镜像至SWR服务] 7. [Step6 在ModelArts上创建训练作业] #### 前提条件 已[注册华为云账号](https://support.huaweicloud.com/usermanual-account/account_id_001.html)，且在使用ModelArts前检查账号状态，账号不能处于欠费或冻结状态。 #### Step1 创建OBS桶和文件夹 在OBS服务中创建桶和文件夹，用于存放样例数据集以及训练代码。需要创建的文件夹列表如[表1]所示，示例中的桶名称"test-modelarts" 和文件夹名称均为举例，请替换为用户自定义的名称。 创建OBS桶和文件夹的操作指导请参见[创建桶](https://support.huaweicloud.com/usermanual-obs/zh-cn_topic_0045829088.html)和[新建文件夹](https://support.huaweicloud.com/usermanual-obs/obs_03_0316.html)。 请确保您使用的OBS与ModelArts在同一区域。 表1OBS桶文件夹列表 | 文件夹名称 | 用途 | |:---|:---| | "obs://test-modelarts/mpi/demo-code/" | 用于存储MPI启动脚本与训练脚本文件。 | | "obs://test-modelarts/mpi/log/" | 用于存储训练日志文件。 | #### Step2 准备脚本文件并上传至OBS中 准备本案例所需的MPI启动脚本run_mpi.sh文件和训练脚本mpi-verification.py文件，并上传至OBS桶的"obs://test-modelarts/mpi/demo-code/"文件夹下。 - MPI启动脚本run_mpi.sh文件内容如下： ``` #!/bin/bash MY_HOME=/home/ma-user MY_SSHD_PORT=${MY_SSHD_PORT:-"38888"} MY_TASK_INDEX=${MA_TASK_INDEX:-${VC_TASK_INDEX:-${VK_TASK_INDEX}}} MY_MPI_SLOTS=${MY_MPI_SLOTS:-"${MA_NUM_GPUS}"} MY_MPI_TUNE_FILE="${MY_HOME}/env_for_user_process" if [ -z ${MY_MPI_SLOTS} ]; then echo "[run_mpi] MY_MPI_SLOTS is empty, set it be 1" MY_MPI_SLOTS="1" fi printf "MY_HOME: ${MY_HOME}\nMY_SSHD_PORT: ${MY_SSHD_PORT}\nMY_MPI_BTL_TCP_IF: ${MY_MPI_BTL_TCP_IF}\nMY_TASK_INDEX: ${MY_TASK_INDEX}\nMY_MPI_SLOTS: ${MY_MPI_SLOTS}\n" env | grep -E '^MA_|^SHARED_|^S3_|^PATH|^VC_WORKER_|^SCC|^CRED' | grep -v '=$' > ${MY_MPI_TUNE_FILE} # add -x to each line sed -i 's/^/-x /' ${MY_MPI_TUNE_FILE} sed -i "s|{{MY_SSHD_PORT}}|${MY_SSHD_PORT}|g" ${MY_HOME}/etc/ssh/sshd_config # start sshd service bash -c "$(which sshd) -f ${MY_HOME}/etc/ssh/sshd_config" # confirm the sshd is up netstat -anp | grep LIS | grep ${MY_SSHD_PORT} if [ $MY_TASK_INDEX -eq 0 ]; then # generate the hostfile of mpi for ((i=0; i<$MA_NUM_HOSTS; i++)) do eval hostname=${MA_VJ_NAME}-${MA_TASK_NAME}-${i}.${MA_VJ_NAME} echo "[run_mpi] hostname: ${hostname}" ip="" while [ -z "$ip" ]; do ip=$(ping -c 1 ${hostname} | grep "PING" | sed -E 's/PING .* .([0-9.]+). .*/\1/g') sleep 1 done echo "[run_mpi] resolved ip: ${ip}" # test the sshd is up while : do if [ cat < /dev/null >/dev/tcp/${ip}/${MY_SSHD_PORT} ]; then break fi sleep 1 done echo "[run_mpi] the sshd of ip ${ip} is up" echo "${ip} slots=$MY_MPI_SLOTS" >> ${MY_HOME}/hostfile done printf "[run_mpi] hostfile:\n`cat ${MY_HOME}/hostfile`\n" fi RET_CODE=0 if [ $MY_TASK_INDEX -eq 0 ]; then echo "[run_mpi] start exec command time: "$(date +"%Y-%m-%d-%H:%M:%S") np=$(( ${MA_NUM_HOSTS} * ${MY_MPI_SLOTS} )) echo "[run_mpi] command: mpirun -np ${np} -hostfile ${MY_HOME}/hostfile -mca plm_rsh_args \"-p ${MY_SSHD_PORT}\" -tune ${MY_MPI_TUNE_FILE} ... $@" # execute mpirun at worker-0 # mpirun mpirun \ -np ${np} \ -hostfile ${MY_HOME}/hostfile \ -mca plm_rsh_args "-p ${MY_SSHD_PORT}" \ -tune ${MY_MPI_TUNE_FILE} \ -bind-to none -map-by slot \ -x NCCL_DEBUG -x NCCL_SOCKET_IFNAME -x NCCL_IB_HCA -x NCCL_IB_TIMEOUT -x NCCL_IB_GID_INDEX -x NCCL_IB_TC \ -x HOROVOD_MPI_THREADS_DISABLE=1 \ -x PATH -x LD_LIBRARY_PATH \ -mca pml ob1 -mca btl ^openib -mca plm_rsh_no_tree_spawn true \ "$@" RET_CODE=$? if [ $RET_CODE -ne 0 ]; then echo "[run_mpi] exec command failed, exited with $RET_CODE" else echo "[run_mpi] exec command successfully, exited with $RET_CODE" fi # stop 1...N worker by killing the sleep proc sed -i '1d' ${MY_HOME}/hostfile if [ `cat ${MY_HOME}/hostfile | wc -l` -ne 0 ]; then echo "[run_mpi] stop 1 to (N - 1) worker by killing the sleep proc" sed -i 's/${MY_MPI_SLOTS}/1/g' ${MY_HOME}/hostfile printf "[run_mpi] hostfile:\n`cat ${MY_HOME}/hostfile`\n" mpirun \ --hostfile ${MY_HOME}/hostfile \ --mca plm_rsh_args "-p ${MY_SSHD_PORT}" \ -x PATH -x LD_LIBRARY_PATH \ pkill sleep \ > /dev/null 2>&1 fi echo "[run_mpi] exit time: "$(date +"%Y-%m-%d-%H:%M:%S") else echo "[run_mpi] the training log is in worker-0" sleep 365d echo "[run_mpi] exit time: "$(date +"%Y-%m-%d-%H:%M:%S") fi exit $RET_CODE ``` ![](https://support.huaweicloud.com/docker-modelarts/public_sys-resources/note_3.0-zh-cn.png) "run_mpi.sh"脚本需要以LF作为换行符。使用CRLF作为换行符会导致训练作业运行失败，日志中会打印"$'\\r': command not found"的错误信息。 - 训练脚本mpi-verification.py文件内容如下： ``` import os import socket if __name__ == '__main__': print(socket.gethostname()) # https://www.open-mpi.org/faq/?category=running#mpi-environmental-variables print('OMPI_COMM_WORLD_SIZE: ' + os.environ['OMPI_COMM_WORLD_SIZE']) print('OMPI_COMM_WORLD_RANK: ' + os.environ['OMPI_COMM_WORLD_RANK']) print('OMPI_COMM_WORLD_LOCAL_RANK: ' + os.environ['OMPI_COMM_WORLD_LOCAL_RANK']) ``` #### Step3 准备镜像主机 准备一台Linux x86_64架构的主机，操作系统使用ubuntu-18.04。您可以准备相同规格的弹性云服务器ECS或者应用本地已有的主机进行自定义镜像的制作。 购买ECS服务器的具体操作请参考[购买并登录Linux弹性云服务器](https://support.huaweicloud.com/qs-ecs/ecs_01_0103.html)。"CPU架构"选择"x86计算"，"镜像"选择"公共镜像"，推荐使用Ubuntu18.04的镜像。 #### Step4 制作自定义镜像 目标：构建安装好如下软件的容器镜像，并使用ModelArts训练服务运行。 - ubuntu-18.04 - cuda-11.1 - python-3.7.13 - openmpi-3.0.0 此处介绍如何通过编写Dockerfile文件制作自定义镜像的操作步骤。 1. 安装Docker。 以Linux x86_64架构的操作系统为例，获取Docker安装包。您可以使用以下指令安装Docker。关于安装Docker的更多指导内容参见[Docker官方文档](https://docs.docker.com/engine/install/binaries/#install-static-binaries)。 ``` curl -fsSL get.docker.com -o get-docker.sh sh get-docker.sh ``` 如果**docker images**命令可以执行成功，表示Docker已安装，此步骤可跳过。 2. 确认Docker Engine版本。执行如下命令。 ``` docker version | grep -A 1 Engine ``` 命令回显如下。 ``` Engine: Version: 18.09.0 ``` ![](https://support.huaweicloud.com/docker-modelarts/public_sys-resources/note_3.0-zh-cn.png) 推荐使用大于等于该版本的Docker Engine来制作自定义镜像。 3. 准备名为context的文件夹。 ``` mkdir -p context ``` 4. 下载Miniconda3安装文件。 使用地址https://repo.anaconda.com/miniconda/Miniconda3-py37_4.12.0-Linux-x86_64.sh，下载Miniconda3 py37 4.12.0安装文件（对应python 3.7.13）。 5. 下载openmpi 3.0.0安装文件。 使用地址https://github.com/horovod/horovod/files/1596799/openmpi-3.0.0-bin.tar.gz，下载horovod v0.22.1已经编译好的openmpi 3.0.0文件。 6. 将上述Miniconda3安装文件、openmpi 3.0.0文件放置在context文件夹内，context文件夹内容如下。 ``` context ├── Miniconda3-py37_4.12.0-Linux-x86_64.sh └── openmpi-3.0.0-bin.tar.gz ``` 7. 编写容器镜像Dockerfile文件。 在context文件夹内新建名为Dockerfile的空文件，并将下述内容写入其中。 ``` # 容器镜像构建主机需要连通公网 # 基础容器镜像, https://github.com/NVIDIA/nvidia-docker/wiki/CUDA # # https://docs.docker.com/develop/develop-images/multistage-build/#use-multi-stage-builds # require Docker Engine >= 17.05 # # builder stage FROM nvidia/cuda:11.1.1-runtime-ubuntu18.04 AS builder # 基础容器镜像的默认用户已经是 root # USER root # 复制 Miniconda3 (python 3.7.13) 安装文件到基础容器镜像中的 /tmp 目录 COPY Miniconda3-py37_4.12.0-Linux-x86_64.sh /tmp # 安装 Miniconda3 到基础容器镜像的 /home/ma-user/miniconda3 目录中 # https://conda.io/projects/conda/en/latest/user-guide/install/linux.html#installing-on-linux RUN bash /tmp/Miniconda3-py37_4.12.0-Linux-x86_64.sh -b -p /home/ma-user/miniconda3 # 构建最终容器镜像 FROM nvidia/cuda:11.1.1-runtime-ubuntu18.04 # 安装 vim / curl / net-tools / ssh 工具（依然使用华为开源镜像站） RUN cp -a /etc/apt/sources.list /etc/apt/sources.list.bak && \ sed -i "s@http://.*archive.ubuntu.com@http://repo.huaweicloud.com@g" /etc/apt/sources.list && \ sed -i "s@http://.*security.ubuntu.com@http://repo.huaweicloud.com@g" /etc/apt/sources.list && \ echo > /etc/apt/apt.conf.d/00skip-verify-peer.conf "Acquire { https::Verify-Peer false }" && \ apt-get update && \ apt-get install -y vim curl net-tools iputils-ping \ openssh-client openssh-server && \ ssh -V && \ mkdir -p /run/sshd && \ apt-get clean && \ mv /etc/apt/sources.list.bak /etc/apt/sources.list && \ rm /etc/apt/apt.conf.d/00skip-verify-peer.conf # 安装 horovod v0.22.1 已经编译好的 openmpi 3.0.0 文件 # https://github.com/horovod/horovod/blob/v0.22.1/docker/horovod/Dockerfile # https://github.com/horovod/horovod/files/1596799/openmpi-3.0.0-bin.tar.gz COPY openmpi-3.0.0-bin.tar.gz /tmp RUN cd /usr/local && \ tar -zxf /tmp/openmpi-3.0.0-bin.tar.gz && \ ldconfig && \ mpirun --version # 增加 ma-user 用户 (uid = 1000, gid = 100) # 注意到基础容器镜像已存在 gid = 100 的组，因此 ma-user 用户可直接使用 RUN useradd -m -d /home/ma-user -s /bin/bash -g 100 -u 1000 ma-user # 从上述 builder stage 中复制 /home/ma-user/miniconda3 目录到当前容器镜像的同名目录 COPY --chown=ma-user:100 --from=builder /home/ma-user/miniconda3 /home/ma-user/miniconda3 # 设置容器镜像预置环境变量 # 请务必设置 PYTHONUNBUFFERED=1, 以免日志丢失 ENV PATH=$PATH:/home/ma-user/miniconda3/bin \ PYTHONUNBUFFERED=1 # 设置容器镜像默认用户与工作目录 USER ma-user WORKDIR /home/ma-user # 配置 sshd，使得 ssh 可以免密登录 RUN MA_HOME=/home/ma-user && \ # setup sshd dir mkdir -p ${MA_HOME}/etc && \ ssh-keygen -f ${MA_HOME}/etc/ssh_host_rsa_key -N '' -t rsa && \ mkdir -p ${MA_HOME}/etc/ssh ${MA_HOME}/var/run && \ # setup sshd config (listen at {{MY_SSHD_PORT}} port) echo "Port {{MY_SSHD_PORT}}\n\ HostKey ${MA_HOME}/etc/ssh_host_rsa_key\n\ AuthorizedKeysFile ${MA_HOME}/.ssh/authorized_keys\n\ PidFile ${MA_HOME}/var/run/sshd.pid\n\ StrictModes no\n\ UsePAM no" > ${MA_HOME}/etc/ssh/sshd_config && \ # generate ssh key ssh-keygen -t rsa -f ${MA_HOME}/.ssh/id_rsa -P '' && \ cat ${MA_HOME}/.ssh/id_rsa.pub >> ${MA_HOME}/.ssh/authorized_keys && \ # disable ssh host key checking for all hosts echo "Host *\n\ StrictHostKeyChecking no" > ${MA_HOME}/.ssh/config ``` 关于Dockerfile文件编写的更多指导内容参见[Docker官方文档](https://docs.docker.com/develop/develop-images/dockerfile_best-practices/)。 8. 确认已创建完成Dockerfile文件。此时context文件夹内容如下。 ``` context ├── Dockerfile ├── Miniconda3-py37_4.12.0-Linux-x86_64.sh └── openmpi-3.0.0-bin.tar.gz ``` 9. 构建容器镜像。在Dockerfile文件所在的目录执行如下命令构建容器镜像mpi:3.0.0-cuda11.1。 ``` docker build . -t mpi:3.0.0-cuda11.1 ``` 构建过程结束时出现如下构建日志说明镜像构建成功。 ``` naming to docker.io/library/mpi:3.0.0-cuda11.1 ``` #### Step5 上传镜像至SWR服务 1. 登录[容器镜像服务控制台](https://console.huaweicloud.com/swr/#/swr/dashboard)，选择区域。 2. 在控制台主页面单击"创建组织"，输入组织名称完成组织创建。您可以自定义组织名称，本示例使用"deep-learning"，实际操作时请重新命名一个组织名称。后续所有命令中使用到组织名称deep-learning时，均需要替换为此处实际创建的组织名称。 3. 创建完毕后，在控制台主页面单击"登录指令"，获取登录访问指令。以root用户登录ECS环境，输入登录指令，具体可参考[在ECS上构建自定义镜像并在Notebook中使用](https://support.huaweicloud.com/docker-modelarts/docker-modelarts_0011-0.html)。 4. 上传镜像至容器镜像服务镜像仓库。 1. 使用docker tag命令给上传镜像打标签。 ``` #region和domain信息请替换为实际值，组织名称deep-learning也请替换为自定义的值。 sudo docker tag mpi:3.0.0-cuda11.1 swr.cn-north-4.myhuaweicloud.com/deep-learning/mpi:3.0.0-cuda11.1 ``` 2. 使用docker push命令上传镜像。 ``` #region和domain信息请替换为实际值，组织名称deep-learning也请替换为自定义的值。 sudo docker push swr.cn-north-4.myhuaweicloud.com/deep-learning/mpi:3.0.0-cuda11.1 ``` 5. 完成镜像上传后，在"容器镜像服务控制台\>我的镜像"页面可查看已上传的自定义镜像。 "swr.cn-north-4.myhuaweicloud.com/deep-learning/mpi:3.0.0-cuda11.1"即为此自定义镜像的"SWR_URL"。 #### Step6 在ModelArts上创建训练作业 1. 登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)，检查当前账号是否已完成访问授权的配置。如未完成，请参考[快速配置ModelArts委托授权](https://support.huaweicloud.com/permission-modelarts/modelarts_24_0085.html)**。**针对之前使用访问密钥授权的用户，建议清空授权，然后使用委托进行授权。 2. 在[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/)，左侧导航栏按需选择以下操作。 - 新版控制台：选择"模型开发与训练 \> 模型训练"，进入训练作业列表。 - 旧版控制台：选择"模型训练 \> 训练作业"，进入训练作业列表。 3. 在"创建训练作业"页面，填写相关参数信息，然后单击"提交"。 - 创建方式：选择"自定义算法" - 启动方式：选择"自定义" - 镜像地址："swr.cn-north-4.myhuaweicloud.com/deep-learning/mpi:3.0.0-cuda11.1" - 代码目录：设置为OBS中存放启动脚本文件的目录，例如："obs://test-modelarts/mpi/demo-code/" - 启动命令：bash ${MA_JOB_DIR}/demo-code/run_mpi.sh python ${MA_JOB_DIR}/demo-code/mpi-verification.py - 环境变量：添加"MY_SSHD_PORT = 38888" - 资源池：选择公共资源池 - 计算节点个数：选择"1"或"2" - 永久保存日志：打开 - 作业日志路径：设置为OBS中存放训练日志的路径。例如："obs://test-modelarts/mpi/log/" 4. 在"规格确认"页面，确认训练作业的参数信息，确认无误后单击"提交"。 5. 训练作业创建完成后，后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。 训练作业一般需要运行一段时间，根据您的训练业务逻辑和选择的资源不同，训练时长将持续几十分钟到几小时不等。训练作业执行成功后，日志信息如[图 1个计算节点worker-0运行日志信息]所示。 图11个计算节点GPU规格worker-0运行日志信息 ![](https://support.huaweicloud.com/docker-modelarts/figure/zh-cn_image_0000002586931015.png "点击放大") 计算节点个数选择为2，训练作业也可以运行。日志信息如[图2]和[图3]所示。 图22个计算节点worker-0运行日志信息 ![](https://support.huaweicloud.com/docker-modelarts/figure/zh-cn_image_0000002586771103.png "点击放大") 图32个计算节点worker-1运行日志信息 ![](https://support.huaweicloud.com/docker-modelarts/figure/zh-cn_image_0000002556091520.png "点击放大")