准备镜像

镜像地址

本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示，请提前了解。

步骤一 检查环境

1. SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。

   npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态
   npu-smi info -l | grep Total    # 在每个实例节点上运行此命令可以看到总卡数

   如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

2. 检查docker是否安装。

   docker -v   #检查docker是否安装

   如尚未安装，运行以下命令安装docker。

   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

3. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。

   sysctl -p | grep net.ipv4.ip_forward

   如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。

   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf 
   sysctl -p | grep net.ipv4.ip_forward

步骤二 获取训练镜像

建议使用官方提供的镜像部署训练服务。镜像地址{image_url}参见镜像地址获取。

步骤三 启动容器镜像

1. 启动容器镜像前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。启动容器命令如下。

   export work_dir="自定义挂载的工作目录"     #容器内挂载的目录，例如/home/ma-user/ws
   export container_work_dir="自定义挂载到容器内的工作目录"
   export container_name="自定义容器名称"
   export image_name="镜像名称"
   docker run -itd \
       --device=/dev/davinci0 \
       --device=/dev/davinci1 \
       --device=/dev/davinci2 \
       --device=/dev/davinci3 \
       --device=/dev/davinci4 \
       --device=/dev/davinci5 \
       --device=/dev/davinci6 \
       --device=/dev/davinci7 \
       --device=/dev/davinci_manager \
       --device=/dev/devmm_svm \
       --device=/dev/hisi_hdc \
       -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
       -v /usr/local/dcmi:/usr/local/dcmi \
       -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
       --cpus 192 \
       --memory 1000g \
       --shm-size 200g \
       --net=host \
       -v ${work_dir}:${container_work_dir} \
       --name ${container_name} \
       $image_name \
       /bin/bash

   参数说明：

   • --name ${container_name} 容器名称，进入容器时会用到，此处可以自己定义一个容器名称，例如ascendspeed。
   • -v ${work_dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
     

     • 容器不能挂载/home/ma-user目录，此目录为ma-user用户家目录。
     • driver及npu-smi需同时挂载至容器。
     • 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。
   • ${image_name} 为docker镜像的ID，在宿主机上可通过docker images查询得到。
   • --shm-size：表示共享内存，用于多进程间通信。由于需要转换较大内存的模型文件，因此大小要求200g及以上。
2. 通过容器名称进入容器中。启动容器时默认用户为ma-user用户。

   docker exec -it ${container_name} bash

3. 上传代码和数据到宿主机时使用的是root用户，此处需要执行如下命令统一文件属主为ma-user用户。

   #统一文件属主为ma-user用户
   sudo chown -R ma-user:ma-group  ${container_work_dir}
   # ${container_work_dir}:/home/ma-user/ws 容器内挂载的目录
   #例如：sudo chown -R ma-user:ma-group  /home/ma-user/ws

4. 使用ma-user用户安装依赖包。

   #进入scripts目录换
   cd /home/ma-user/ws/llm_train/AscendSpeed
   #执行安装命令
   sh scripts/install.sh

   

   • 在执行 scripts/install.sh 安装命令时，需要确认机器是否已连通网络。若无法连通网络，可使用离线安装的方式，具体参考离线训练安装包准备说明。
   • 若要对ChatCLMv3、GLMv4系列模型进行训练时，需要修改 install.sh 脚本中的 transformers 的版本。
     • 由默认 transformers==4.45.0 修改为：transformers==4.44.2
   • 为了避免因使用不同版本的 transformers 库进行训练和推理而导致冲突的问题，建议用户分别为训练和推理过程创建独立的容器环境。
5. 通过运行install.sh脚本，还会git clone下载Megatron-LM、MindSpeed、ModelLink源码（install.sh中会自动下载配套版本，如果手动下载源码还需修改版本）至llm_train/AscendSpeed文件夹中。下载的源码文件结构如下：

   |——AscendCloud-LLM
       |──llm_train                 # 模型训练代码包
             |──AscendSpeed         # 基于AscendSpeed的训练代码
                    |──ascendcloud_patch/   # 针对昇腾云平台适配的功能补丁包
                    |──scripts/             # 训练需要的启动脚本
                    |——src/                 # 启动命令行封装脚本，在install.sh里面自动构建
             |──Megatron-LM/         # 适配昇腾的Megatron-LM训练框架
             |──MindSpeed/           # MindSpeed昇腾大模型加速库
             |──ModelLink/           # ModelLink端到端的大语言模型方案
                    |——megatron/     # 注意：该文件夹从Megatron-LM中复制得到
                    |——...