准备镜像

镜像地址

本教程中用到的基础镜像地址和配套版本关系如下表所示，请提前了解。

本文档兼容cann_7.0.1.1和cann_8.0.rc1的镜像，推荐使用较新版本的cann_8.0.rc1镜像。

Step1 检查系统环境

1. SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。

   npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态
   npu-smi info -l | grep Total    # 在每个实例节点上运行此命令可以看到总卡数

   如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装NPU设备和驱动，或释放被挂载的NPU。

2. 检查是否安装docker。

   docker -v   #检查docker是否安装

   如尚未安装，运行以下命令安装docker。

   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

3. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。

   sysctl -p | grep net.ipv4.ip_forward

   如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。

   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf 
   sysctl -p | grep net.ipv4.ip_forward

Step2 获取基础镜像

建议使用官方提供的镜像部署服务。镜像地址{image_url}参见表1。

Step3 启动容器镜像

1. 启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。

   container_work_dir="/home/ma-user/ws"   # 容器内挂载的目录
   work_dir="/home/ma-user/ws"             # 宿主机挂载目录，存放了代码、数据、权重
   container_name="ascendspeed"            # 启动的容器名称
   image_name="${container_name} "         # 启动的镜像ID
   docker run -itd \
       --device=/dev/davinci0 \
       --device=/dev/davinci1 \
       --device=/dev/davinci2 \
       --device=/dev/davinci3 \
       --device=/dev/davinci4 \
       --device=/dev/davinci5 \
       --device=/dev/davinci6 \
       --device=/dev/davinci7 \
       --device=/dev/davinci_manager \
       --device=/dev/devmm_svm \
       --device=/dev/hisi_hdc \
       -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
       -v /usr/local/dcmi:/usr/local/dcmi \
       -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
       --cpus 192 \
       --memory 1000g \
       --shm-size 200g \
       --net=host \
       -v ${work_dir}:${container_work_dir} \
       --name ${container_name} \
       $image_name \
       /bin/bash

   参数说明：

   • --name ${container_name} 容器名称，进入容器时会用到，此处可以自己定义一个容器名称，例如ascendspeed。
   • -v ${work_dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
     

     • 容器不能挂载到/home/ma-user目录，此目录为ma-user用户家目录。如果容器挂载到/home/ma-user下，拉起容器时会与基础镜像冲突，导致基础镜像不可用。
     • driver及npu-smi需同时挂载至容器。
   • ${image_name} 为docker镜像的ID，在宿主机上可通过docker images查询得到。
2. 通过容器名称进入容器中。

   docker exec -it ${container_name} bash

   

   启动容器时默认用户为ma-user用户。如果需要切换到root用户可以执行以下命令：

   sudo su
   source /home/ma-user/.bashrc

   如果继续使用ma-user，在使用其他属组如root用户上传的数据和文件时，可能会存在权限不足的问题，因此需要执行如下命令统一文件属主。

   sudo chown -R ma-user:ma-group  ${container_work_dir}   
   # ${container_work_dir}:/home/ma-user/ws 容器内挂载的目录
   例如：
   sudo chown -R ma-user:ma-group  /home/ma-user/ws

3. 安装pip源。

   #进入scriptsscripts目录
   cd /home/ma-user/ws/xxxend/llm_train/AscendSpeed/scripts
   #执行安装命令
   pip install -r requirements.txt