# 在ModelArts上运行单机多卡训练作业
#### 操作流程
1. 准备工作：
   1. [购买服务资源](https://support.huaweicloud.com/bestpractice-modelarts/modelarts_20_2003.html#ZH-CN_TOPIC_0000001967677176__section179151088543)（VPC、SFS、SWR和ECS）
   
   2. [配置权限](https://support.huaweicloud.com/bestpractice-modelarts/modelarts_20_2003.html#ZH-CN_TOPIC_0000001967677176__section135211413125013)
   
   3. [创建专属资源池](https://support.huaweicloud.com/bestpractice-modelarts/modelarts_20_2003.html#ZH-CN_TOPIC_0000001967677176__section178314282547)（打通VPC）
   
   4. [在ECS服务器挂载SFS Turbo存储](https://support.huaweicloud.com/bestpractice-modelarts/modelarts_20_2003.html#ZH-CN_TOPIC_0000001967677176__section3463195918541)
   
   5. [在ECS中设置ModelArts用户可读权限](https://support.huaweicloud.com/bestpractice-modelarts/modelarts_20_2003.html#ZH-CN_TOPIC_0000001967677176__section2445172895518)
   
   6. [安装和配置OBS命令行工具](https://support.huaweicloud.com/bestpractice-modelarts/modelarts_20_2003.html#ZH-CN_TOPIC_0000001967677176__section49511735617)
   
   7. [（可选）工作空间配置](https://support.huaweicloud.com/bestpractice-modelarts/modelarts_20_2003.html#ZH-CN_TOPIC_0000001967677176__section9791730155619)
    
2. 模型训练：
   1. [本地构建镜像及调试]
   
   2. [上传镜像]
   
   3. [上传数据和算法至SFS（首次使用时需要）]
   
   4. [使用Notebook进行代码调试]
   
   5. [创建单机多卡训练作业]
    
 
 #### 本地构建镜像及调试
本节通过打包conda env来构建环境，也可以通过pip install、conda install等方式安装conda环境依赖。
![](https://support.huaweicloud.com/bestpractice-modelarts/public_sys-resources/note_3.0-zh-cn.png)
- 容器镜像的大小建议小于15G，详细的自定义镜像规范要求请参见[训练作业自定义镜像规范](https://support.huaweicloud.com/docker-modelarts/develop-modelarts-10079.html)。
- 建议通过开源的官方镜像来构建，例如PyTorch的官方镜像。
- 建议容器分层构建，单层容量不要超过1G、文件数不大于10万个。分层时，先构建不常变化的层，例如：先OS，再cuda驱动，再Python，再pytorch，再其他依赖包。
- 如果训练数据和代码经常变动，则不建议把数据、代码放到容器镜像里，避免频繁地构建容器镜像。
- 容器已经能满足隔离需求，不建议在容器内再创建多个conda env。
 
1. 导出conda环境。
   1. 启动线下的容器镜像：
      ```
      # run on terminal
      docker run -ti ${your_image:tag}
      ```
      
   
   2. 在容器中输入如下命令，得到pytorch.tar.gz：
      ```
      # run on container
      # 基于想要迁移的base环境创建一个名为pytorch的conda环境
      conda create --name pytorch --clone base
      pip install conda-pack
      #将pytorch env打包生成pytorch.tar.gz
      conda pack -n pytorch -o pytorch.tar.gz
      ```
      
   
   3. 将打包好的压缩包传到本地：
      ```
      # run on terminal
      docker cp ${your_container_id}:/xxx/xxx/pytorch.tar.gz .
      ```
      
   
   4. 将pytorch.tar.gz上传到OBS并[设置公共读](https://support.huaweicloud.com/perms-cfg-obs/obs_40_0033.html)，并在构建时使用**wget**命令获取、解压、清理。
    
2. 构建新镜像。 基础镜像一般选用"ubuntu 18.04"的官方镜像，或者nvidia官方提供的带cuda驱动的镜像。相关镜像直接到dockerhub官网查找即可。
   构建流程：安装所需的apt包、驱动，配置ma-user用户、导入conda环境、配置Notebook依赖。
   ![](https://support.huaweicloud.com/bestpractice-modelarts/public_sys-resources/note_3.0-zh-cn.png)
   - 推荐使用Dockerfile的方式构建镜像。这样既满足dockerfile可追溯及构建归档的需求，也保证镜像内容无冗余和残留。
   
   - 每层构建的时候都尽量把tar包等中间态文件删除，保证最终镜像更小，清理缓存的方法可参考：[conda clean](https://docs.conda.io/projects/conda/en/latest/commands/clean.html)。
     
3. 构建参考样例
   Dockerfile样例：
   ```
   FROM nvidia/cuda:11.3.1-cudnn8-devel-ubuntu18.04
   USER root
   # section1: add user ma-user whose uid is 1000 and user group ma-group whose gid is 100. If there already exists 1000:100 but not ma-user:ma-group, below code will remove it
   RUN default_user=$(getent passwd 1000 | awk -F ':' '{print $1}') || echo "uid: 1000 does not exist" && \
       default_group=$(getent group 100 | awk -F ':' '{print $1}') || echo "gid: 100 does not exist" && \
       if [ ! -z ${default_group} ] && [ ${default_group} != "ma-group" ]; then \
           groupdel -f ${default_group}; \
           groupadd -g 100 ma-group; \
       fi && \
       if [ -z ${default_group} ]; then \
           groupadd -g 100 ma-group; \
       fi && \
       if [ ! -z ${default_user} ] && [ ${default_user} != "ma-user" ]; then \
           userdel -r ${default_user}; \
           useradd -d /home/ma-user -m -u 1000 -g 100 -s /bin/bash ma-user; \
           chmod -R 750 /home/ma-user; \
       fi && \
       if [ -z ${default_user} ]; then \
           useradd -d /home/ma-user -m -u 1000 -g 100 -s /bin/bash ma-user; \
           chmod -R 750 /home/ma-user; \
       fi && \
       # set bash as default
       rm /bin/sh && ln -s /bin/bash /bin/sh
   # section2: config apt source and install tools needed.
   RUN sed -i "s@http://.*archive.ubuntu.com@http://repo.huaweicloud.com@g" /etc/apt/sources.list && \
       sed -i "s@http://.*security.ubuntu.com@http://repo.huaweicloud.com@g" /etc/apt/sources.list && \
       apt-get update && \
       apt-get install -y ca-certificates curl ffmpeg git libgl1-mesa-glx libglib2.0-0 libibverbs-dev libjpeg-dev libpng-dev libsm6 libxext6 libxrender-dev ninja-build screen sudo vim wget zip && \
       apt-get clean  && \
       rm -rf /var/lib/apt/lists/*
   USER ma-user
   # section3: install miniconda and rebuild conda env
   RUN mkdir -p /home/ma-user/work/ && cd /home/ma-user/work/ && \
       wget https://repo.anaconda.com/miniconda/Miniconda3-py37_4.12.0-Linux-x86_64.sh && \
       chmod 777 Miniconda3-py37_4.12.0-Linux-x86_64.sh && \
       bash Miniconda3-py37_4.12.0-Linux-x86_64.sh -bfp /home/ma-user/anaconda3 && \
       wget https://${bucketname}.obs.cn-north-4.myhuaweicloud.com/${folder_name}/pytorch.tar.gz && \
       mkdir -p /home/ma-user/anaconda3/envs/pytorch && \
       tar -xzf pytorch.tar.gz -C /home/ma-user/anaconda3/envs/pytorch && \
       source /home/ma-user/anaconda3/envs/pytorch/bin/activate && conda-unpack && \
       /home/ma-user/anaconda3/bin/conda init bash && \
       rm -rf /home/ma-user/work/*
   ENV PATH=/home/ma-user/anaconda3/envs/pytorch/bin:$PATH
   # section4: settings of Jupyter Notebook for pytorch env
   RUN source /home/ma-user/anaconda3/envs/pytorch/bin/activate && \
       pip install ipykernel==6.7.0 --trusted-host https://repo.huaweicloud.com -i https://repo.huaweicloud.com/repository/pypi/simple && \
       ipython kernel install --user --env PATH /home/ma-user/anaconda3/envs/pytorch/bin:$PATH --name=pytorch && \
       rm -rf /home/ma-user/.local/share/jupyter/kernels/pytorch/logo-* && \
       rm -rf ~/.cache/pip/* && \
       echo 'export PATH=$PATH:/home/ma-user/.local/bin' >> /home/ma-user/.bashrc && \
       echo 'export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/nvidia/lib64' >> /home/ma-user/.bashrc && \
       echo 'conda activate pytorch' >> /home/ma-user/.bashrc
   ENV DEFAULT_CONDA_ENV_NAME=pytorch
   ```
   ![](https://support.huaweicloud.com/bestpractice-modelarts/public_sys-resources/note_3.0-zh-cn.png)
   Dockerfile中的"https://${bucket_name}.obs.cn-north-4.myhuaweicloud.com/${folder_name}/pytorch.tar.gz"，需要替换为[1]中pytorch.tar.gz在OBS上的路径（需将文件设置为公共读）。
   进入Dockerfile目录，通过Dockerfile构建镜像命令：
   ```
   # cd 到Dockerfile所在目录下，输入构建命令
   # docker build -t ${image_name}:${image_version} .
   # 例如
   docker build -t pytorch-1.13-cuda11.3-cudnn8-ubuntu18.04:v1 .
   ```
   
4. 调试镜像
   ![](https://support.huaweicloud.com/bestpractice-modelarts/public_sys-resources/note_3.0-zh-cn.png)
   建议把调试过程中的修改点通过Dockerfile固化到容器构建正式流程，并重新测试。
   1. 确认对应的脚本、代码、流程在Linux服务器上运行正常。 如果在Linux服务器上运行就有问题，那么先调通以后再做容器镜像。
      
   
   2. 确认打入镜像的文件是否在正确的位置、是否有正确的权限。 训练场景主要查看自研的依赖包是否正常，查看pip list是否包含所需的包，查看容器直接调用的python是否是自己所需要的那个（如果容器镜像装了多个python，需要设置python路径的环境变量）。
      
   
   3. 测试训练启动脚本。
      1. 优先使用手工进行数据复制的工作并验证 一般在镜像里不包含训练所用的数据和代码，所以在启动镜像以后需要手工把需要的文件复制进去。建议数据、代码和中间数据都放到"/cache"目录，防止正式运行时磁盘占满。建议Linux服务器申请的时候，有足够大的内存（8G以上）以及足够大的硬盘（100G以上）。
         docker和linux的文件交互命令如下：
         ```
         docker cp data/ 39c9ceedb1f6:/cache/
         ```
         数据准备完成后，启动训练的脚本，查看训练是否能够正常拉起。一般来说，启动脚本为：
         ```
         cd /cache/code/ 
         python start_train.py
         ```
         如果训练流程不符合预期，可以在容器实例中查看日志、错误等，并进行代码、环境变量的修正。
         
      
      2. 预置脚本测试整体流程 一般使用run.sh封装训练外的文件复制工作（数据、代码：OBS--\>容器，输出结果：容器--\>OBS），run.sh的构建方法参考[在ModelArts使用run.sh脚本实现OBS和训练容器间的数据传输](https://support.huaweicloud.com/bestpractice-modelarts/modelarts_20_2055.html)。
         如果预置脚本调用结果不符合预期，可以在容器实例中进行修改和迭代。
         
      
      3. 针对专属池场景 由于专属池支持SFS挂载，因此代码、数据的导入会更简单，甚至可以不用再关注OBS的相关操作。
         可以直接把SFS的目录挂载到调试节点的"/mnt/sfs_turbo"目录，或者保证对应目录的内容和SFS盘匹配。
         调试时建议使用接近的方式，即：启动容器实例时使用"-v"参数来指定挂载某个宿主机目录到容器环境。
         ```
         docker run -ti -d -v /mnt/sfs_turbo:/sfs my_deeplearning_image:v1
         ```
         上述命令表示把宿主机的"/mnt/sfs_turbo"目录挂载到容器的"/sfs"目录，在宿主机和容器对应目录的所有改动都是实时同步的。
         
       
   
   4. 分析错误时：训练镜像先看日志，推理镜像先看API的返回。 可以通过命令查看容器输出到stdout的所有日志：
      ```
      docker logs -f 39c9ceedb1f6
      ```
      一般在做推理镜像时，部分日志是直接存储在容器内部的，所以需要进入容器看日志。注意：重点对应日志中是否有ERROR（包括，容器启动时、API执行时）。
      
   
   5. 牵扯部分文件用户组不一致的情况，可以在宿主机用root权限执行命令进行修改
      ```
      docker exec -u root:root 39c9ceedb1f6 bash -c "chown -R ma-user:ma-user /cache"
      ```
      
   
   6. 针对调试中遇到的错误，可以直接在容器实例里修改，修改结果可以通过commit命令持久化。
    
 
 #### 上传镜像
客户端上传镜像，是指在安装了容器引擎客户端的机器上使用docker命令将镜像上传到容器镜像服务的镜像仓库。
如果容器引擎客户端机器为云上的ECS或CCE节点，根据机器所在区域有两种网络链路可以选择：
- 如果机器与容器镜像仓库在同一区域，则上传镜像走内网链路。
- 如果机器与容器镜像仓库不在同一区域，则上传镜像走公网链路，机器需要绑定弹性公网IP。
![](https://support.huaweicloud.com/bestpractice-modelarts/public_sys-resources/note_3.0-zh-cn.png)
- 使用客户端上传镜像，镜像的每个layer大小不能大于10G。
- 上传镜像的容器引擎客户端版本必须为1.11.2及以上。
 
1. 连接容器镜像服务。
   1. 登录[容器镜像服务控制台](https://console.huaweicloud.com/swr/)。
   
   2. 单击右上角"创建组织"，输入组织名称完成组织创建。请自定义组织名称，本示例使用"deep-learning"，下面的命令中涉及到组织名称"deep-learning"也请替换为自定义的值。
   
   3. 选择左侧导航栏的"总览"，单击页面右上角的"登录指令"，在弹出的页面中单击![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000002237672649.png)复制登录指令。
      ![](https://support.huaweicloud.com/bestpractice-modelarts/public_sys-resources/note_3.0-zh-cn.png)
      - 此处生成的登录指令有效期为24小时，如果需要长期有效的登录指令，请参见[获取长期有效登录指令](https://support.huaweicloud.com/usermanual-swr/swr_01_1000.html)。获取了长期有效的登录指令后，在有效期内的临时登录指令仍然可以使用。
      
      - 登录指令末尾的域名为镜像仓库地址，请记录该地址，后面会使用到。
        
   
   4. 在安装容器引擎的机器中执行上一步复制的登录指令。 登录成功会显示"Login Succeeded"。
      
    
2. 在安装容器引擎的机器上执行如下命令，为镜像打标签。 **docker tag** \[镜像名称1:版本名称1\] \[镜像仓库地址\]/\[组织名称\]/\[镜像名称2:版本名称2\]
   - \[镜像名称1:版本名称1\]：${image_name}:${image_version}请替换为您所要上传的实际镜像的名称和版本名称。
   
   - \[镜像仓库地址\]：可在SWR控制台上查询，即[1.c]中登录指令末尾的域名。
   
   - \[组织名称\]：/${organization_name}请替换为您创建的组织。
   
   - \[镜像名称2:版本名称2\]：${image_name}:${image_version}请替换为您期待的镜像名称和镜像版本。
   
   
   示例：
   ```
   docker tag ${image_name}:${image_version} swr.cn-north-4.myhuaweicloud.com/${organization_name}/${image_name}:${image_version}
   ```
   
3. 上传镜像至镜像仓库。 **docker push** \[镜像仓库地址\]/\[组织名称\]/\[镜像名称2:版本名称2\]
   示例：
   ```
   docker push swr.cn-north-4.myhuaweicloud.com/${organization_name}/${image_name}:${image_version}
   ```
   上传镜像完成后，返回容器镜像服务控制台，在"我的镜像"页面，执行刷新操作后可查看到对应的镜像信息。
   
 
 #### 上传数据和算法至SFS
- ECS服务器已挂载SFS，请参考[在ECS服务器挂载SFS Turbo存储](https://support.huaweicloud.com/bestpractice-modelarts/modelarts_20_2003.html#ZH-CN_TOPIC_0000001967677176__section3463195918541)。
- 已经在ECS中设置权限，请参考[在ECS中设置ModelArts用户可读权限](https://support.huaweicloud.com/bestpractice-modelarts/modelarts_20_2003.html#ZH-CN_TOPIC_0000001967677176__section2445172895518)。
- 已经安装和配置obsutil，请参见[安装和配置OBS命令行工具](https://support.huaweicloud.com/bestpractice-modelarts/modelarts_20_2003.html#ZH-CN_TOPIC_0000001967677176__section49511735617)。
1. 准备数据 
   1. 登录coco数据集下载官网地址：<https://cocodataset.org/#download>
   
   2. 下载coco2017数据集的Train（18GB）、Val images（1GB）、Train/Val annotations（241MB），分别解压后并放入coco文件夹中。
   
   3. 下载完成后，将数据上传至SFS相应目录中。由于数据集过大，推荐先通过obsutil工具将数据集传到OBS桶后，再将数据集迁移至SFS。
      1. 在本机机器上运行，通过obsutil工具将本地数据集传到OBS桶。
         ```
         # 将本地数据传至OBS中
         # ./obsutil cp ${数据集所在的本地文件夹路径} ${存放数据集的obs文件夹路径} -f -r
         # 例如
         ./obsutil cp ./coco obs://your_bucket/ -f -r
         ```
         
      
      2. 登录ECS服务器，通过obsutil工具将数据集迁移至SFS，样例代码如下：
         ```
         # 将OBS数据传至SFS中
         # ./obsutil cp ${数据集所在的obs文件夹路径} ${SFS文件夹路径} -f -r
         # 例如
         ./obsutil cp obs://your_bucket/coco/ /mnt/sfs_turbo/ -f -r
         ```
         /mnt/sfs_turbo/coco文件夹内目录结构如下：
         ```
         coco
         |---annotations
         |---train2017
         |---val2017
         ```
         更多obsutil的操作，可参考[obsutil简介](https://support.huaweicloud.com/utiltg-obs/obs_11_0001.html)。
         
      
      3. 将文件设置归属为ma-user：
         ```
         chown -R ma-user:ma-group coco
         ```
         
       
   
   
   
   
2. 准备算法 
   1. 下载YOLOX代码。代码仓地址：<https://github.com/Megvii-BaseDetection/YOLOX.git>。
      ```
      git clone https://github.com/Megvii-BaseDetection/YOLOX.git
      cd YOLOX
      git checkout 4f8f1d79c8b8e530495b5f183280bab99869e845
      ```
      
   
   2. 修改"requirements.txt"中的onnx版本，改为"onnx\>=1.12.0"。
   
   3. 将"yolox/data/datasets/coco.py"第59行的"data_dir = os.path.join(get_yolox_datadir(), "COCO")"改为"data_dir = '/home/ma-user/coco'"。
      ```
      # data_dir = os.path.join(get_yolox_datadir(), "COCO")
      data_dir = '/home/ma-user/coco'
      ```
      
   
   4. 在"tools/train.py"的第13行前加两句代码。
      ```
      # 加上这两句代码，防止运行时找不到yolox module
      import sys
      sys.path.append(os.getcwd())
      # line13
      from yolox.core import launch
      from yolox.exp import Exp, get_exp
      ```
      
   
   5. 将"yolox/layers/jit_ops.py"第122行的"fast_cocoeval"改为"fast_coco_eval_api"。
      ```
      # def __init__(self, name="fast_cocoeval"):
      def __init__(self, name="fast_coco_eval_api"):
      ```
      
   
   6. 将"yolox\\evaluators\\coco_evaluator.py"第294行的"from yolox.layers import COCOeval_opt as COCOeval"改为"from pycocotools.cocoeval import COCOeval"。
      ```
      try:
         # from yolox.layers import COCOeval_opt as COCOeval
         from pycocotools.cocoeval import COCOeval
      except ImportError:
         from pycocotools.cocoeval import COCOeval
         logger.warning("Use standard COCOeval.")
      ```
      
   
   7. 在tools目录下新建一个"run.sh"作为启动脚本，"run.sh"内容可参考：
      ```
      #!/usr/bin/env sh
      set -x
      set -o pipefail
      export NCCL_DEBUG=INFO
      DEFAULT_ONE_GPU_BATCH_SIZE=32
      BATCH_SIZE=$((${MA_NUM_GPUS:-8} * ${VC_WORKER_NUM:-1} * ${DEFAULT_ONE_GPU_BATCH_SIZE}))
      if [ ${VC_WORKER_HOSTS} ];then
          YOLOX_DIST_URL=tcp://$(echo ${VC_WORKER_HOSTS} | cut -d "," -f 1):6666
          /home/ma-user/anaconda3/envs/pytorch/bin/python -u tools/train.py \
                                      -n yolox-s \
                                      --devices ${MA_NUM_GPUS:-8} \
                                      --batch-size ${BATCH_SIZE} \
                                      --fp16 \
                                      --occupy \
                                      --num_machines ${VC_WORKER_NUM:-1} \
                                      --machine_rank ${VC_TASK_INDEX:-0} \
                                      --dist-url ${YOLOX_DIST_URL}
      else
          /home/ma-user/anaconda3/envs/pytorch/bin/python -u tools/train.py \
                                      -n yolox-s \
                                      --devices ${MA_NUM_GPUS:-8} \
                                      --batch-size ${BATCH_SIZE} \
                                      --fp16 \
                                      --occupy \
                                      --num_machines ${VC_WORKER_NUM:-1} \
                                      --machine_rank ${VC_TASK_INDEX:-0}
      fi
      ```
      ![](https://support.huaweicloud.com/bestpractice-modelarts/public_sys-resources/note_3.0-zh-cn.png)
      部分环境变量在Notebook环境中不存在，因此需要提供默认值。
      
   
   8. 将代码放到OBS上，然后通过OBS将代码传至SFS相应目录中。
      1. 在本机机器上运行，通过obsutil工具将本地数据集传到OBS桶。
         ```
         # 将本地代码传至OBS中
         ./obsutil cp ./YOLOX obs://your_bucket/ -f -r
         ```
         
      
      2. 登录ECS服务器，通过obsutil工具将数据集迁移至SFS，样例代码如下：
         ```
         # 将OBS的代码传到SFS中
         ./obsutil cp obs://your_bucket/YOLOX/ /mnt/sfs_turbo/code/ -f -r
         ```
         
      
      
      ![](https://support.huaweicloud.com/bestpractice-modelarts/public_sys-resources/note_3.0-zh-cn.png)
      本案例中以obsutils方式上传文件，除此之外也可通过SCP方式上传文件，具体操作步骤可参考[本地Linux主机使用SCP上传文件到Linux云服务器](https://support.huaweicloud.com/ecs_faq/ecs_faq_0803.html)。
      
   
   9. 在SFS中将文件设置归属为ma-user。
      ```
      chown -R ma-user:ma-group YOLOX
      ```
      
   
   10. 执行以下命令，去除Shell脚本的\\r字符。
       ```
       cd YOLOX
       sed -i 's/\r//' run.sh
       ```
       ![](https://support.huaweicloud.com/bestpractice-modelarts/public_sys-resources/note_3.0-zh-cn.png)
       Shell脚本在Windows系统编写时，每行结尾是\\r\\n，而在Linux系统中行每行结尾是\\n，所以在Linux系统中运行脚本时，会认为\\r是一个字符，导致运行报错"$'\\r': command not found"，因此需要去除Shell脚本的\\r字符。
       
   
   
   
   
 
 #### 使用Notebook进行代码调试
- Notebook使用涉及到计费，具体收费项如下：
  - 处于"运行中"状态的Notebook，会消耗资源，产生费用。根据您选择的资源不同，收费标准不同，价格详情请参见[产品价格详情](https://www.huaweicloud.com/pricing.html?tab=detail#/modelarts)。当您不需要使用Notebook时，建议停止Notebook，避免产生不必要的费用。
  
  - 创建Notebook时，如果选择使用云硬盘EVS存储配置，云硬盘EVS会一直收费，建议及时停止并删除Notebook，避免产生不必要的费用。
   
- 在创建Notebook时，默认会开启自动停止功能，在指定时间内停止运行Notebook，避免资源浪费。

- 只有处于"运行中"状态的Notebook，才可以执行打开、停止操作。
- 一个账户最多创建10个Notebook。
操作步骤如下：
1. 注册镜像。登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts)，在左侧导航栏选择"镜像管理"，进入镜像管理页面。单击"注册镜像"，镜像源即为推送到SWR中的镜像。请将完整的SWR地址复制到这里即可，或单击![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000002237752489.png)可直接从SWR选择自有镜像进行注册，类型加上"GPU"。
2. 登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts)，在左侧导航栏中选择"开发空间 \> Notebook"，进入"Notebook"列表页面。
3. 单击"创建Notebook"，进入"创建Notebook"页面，请参见如下说明填写参数。
   1. 填写Notebook基本信息，包含名称、描述、是否自动停止，详细参数请参见[表1]。
       表1基本信息的参数描述 
      | 参数名称   | 说明                                                                                                                                                                                                                |
      |:---|:---|
      | "名称"   | Notebook的名称。只能包含数字、大小写字母、下划线和中划线，长度不能大于64位且不能为空。                                                                                                                                                                  |
      | "描述"   | 对Notebook的简要描述。                                                                                                                                                                                                   |
      | "自动停止" | 默认开启，且默认值为"1小时"，表示该Notebook实例将在运行1小时之后自动停止，即1小时后停止规格资源计费。 开启自动停止功能后，可选择"1小时"、"2小时"、"4小时"、"6小时"或"自定义"几种模式。选择"自定义"模式时，可指定1\~24小时范围内任意整数。 |
         
      
   
   2. 填写Notebook详细参数，如镜像、资源规格等。
      - 镜像：在"自定义镜像"页签选择已上传的自定义镜像。
      
      - 资源类型：按实际情况选择已创建的专属资源池。
      
      - 规格：选择8卡GPU规格，"run.sh"文件中默认MA_NUM_GPUS为8卡，因此选择notebook规格时需要与MA_NUM_GPUS默认值相同。
      
      - 存储配置：选择"弹性文件服务SFS"作为存储位置。子目录挂载可不填写，如果需挂载SFS指定目录，则在子目录挂载处填写具体路径。
      
      
      ![](https://support.huaweicloud.com/bestpractice-modelarts/public_sys-resources/note_3.0-zh-cn.png)
      如果需要通过VS Code连接Notebook进行代码调试，则需开启"SSH远程开发"并选择密钥对，请参考[VS Code连接Notebook方式介绍](https://support.huaweicloud.com/devtool-modelarts/devtool-modelarts_0019.html)。
      
    
4. 参数填写完成后，单击"立即创建"进行规格确认。
5. 参数确认无误后，单击"提交"，完成Notebook的创建操作。 进入Notebook列表，正在创建中的Notebook状态为"创建中"，创建过程需要几分钟，请耐心等待。当Notebook状态变为"运行中"时，表示Notebook已创建并启动完成。
   
6. 在Notebook列表，单击实例名称，进入实例详情页，查看Notebook实例配置信息。
7. 在Notebook中打开Terminal，输入启动命令调试代码。
   ```
   # 建立数据集软链接
   # ln -s /home/ma-user/work/${coco数据集在SFS上的路径} /home/ma-user/coco
   # 进入到对应目录
   # cd /home/ma-user/work/${YOLOX在SFS上的路径}
   # 安装环境并执行脚本
   # /home/ma-user/anaconda3/envs/pytorch/bin/pip install -r requirements.txt && /bin/sh tools/run.sh 
   # 例如
   ln -s /home/ma-user/work/coco /home/ma-user/coco
   cd /home/ma-user/work/code/YOLOX/
   /home/ma-user/anaconda3/envs/pytorch/bin/pip install -r requirements.txt && /bin/sh tools/run.sh
   ```
   ![](https://support.huaweicloud.com/bestpractice-modelarts/public_sys-resources/note_3.0-zh-cn.png)
   Notebook中调试完后，如果镜像有修改，可以保存镜像用于后续训练，具体操作请参见[保存Notebook镜像环境](https://support.huaweicloud.com/docker-modelarts/docker-modelarts_0008.html)。
   
 
 #### 创建单机多卡训练作业
1. 登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts)，检查当前帐号是否已完成访问授权的配置。如果未完成，请参考[使用委托授权](https://support.huaweicloud.com/permission-modelarts/modelarts_24_0085.html)针对之前使用访问密钥授权的用户，建议清空授权，然后使用委托进行授权。
2. 在左侧导航栏中选择"模型训练 \> 训练作业"，默认进入"训练作业"列表。单击"创建训练作业"进入创建训练作业页面。
3. 在"创建训练作业"页面，填写相关参数信息，然后单击"提交"。
   - 创建方式：选择"自定义算法"。
   
   - 启动方式：选择"自定义"。
   
   - 镜像：选择上传的自定义镜像。
   
   - 启动命令：
     ```
     ln -s /home/ma-user/work/coco /home/ma-user/coco && cd /home/ma-user/work/code/YOLOX/ && /home/ma-user/anaconda3/envs/pytorch/bin/pip install -r requirements.txt && /bin/sh tools/run.sh
     ```
     
   
   - 资源池：在"专属资源池"页签选择GPU规格的专属资源池。
   
   - 规格：选择8卡GPU规格。
   
   - 计算节点：1。
   
   - SFS Turbo：增加挂载配置，选择SFS名称，云上挂载路径为"/home/ma-user/work"。
     ![](https://support.huaweicloud.com/bestpractice-modelarts/public_sys-resources/note_3.0-zh-cn.png)
     为了和Notebook调试时代码路径一致，保持相同的启动命令，因此云上挂载路径需要填写为"/home/ma-user/work"。
     
    
4. 单击"提交"，在"信息确认"页面，确认训练作业的参数信息，确认无误后单击"确定"。
5. 训练作业创建完成后，后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。 训练作业一般需要运行一段时间，根据您的训练业务逻辑和选择的资源不同，训练时长将持续几十分钟到几小时不等。