SparseDrive模型基于ModelArts Lite Server适配PyTorch NPU训练指导

方案概览

SparseDrive是一种基于稀疏化表征的端到端自动驾驶模型，基于Sparse4D的整体思路，模型通过稀疏化进行检测与构图，大大提高了模型的训推速度，并通过并行的轨迹预测与规划模块，将自车的运动状态纳入到场景理解中，提高了模型轨迹预测与规划能力。

本方案介绍了在ModelArts Lite Server上使用昇腾计算资源Ascend Snt9B（8卡）或Snt9B23（16卡）开展SparseDrive模型的训练过程。

资源规格要求

推荐使用“西南-贵阳一”Region上的Lite Server资源。

获取软件和镜像

约束限制

• 本文档适配昇腾云ModelArts 6.5.905版本，请参考表2 获取软件和镜像获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
• 确保容器可以访问公网。

步骤一：检查环境

1. 请参考Lite Server资源开通，购买Lite Server资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。
   

   购买Lite Server资源时如果无可选资源规格，需要联系华为云技术支持申请开通。

   当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。

2. SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。

   npu-smi info  # 在每个实例节点上运行此命令可以看到NPU卡状态

   如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

3. 检查是否安装docker。

   docker -v  # 检查docker是否安装

   如尚未安装，运行以下命令安装docker。

   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

4. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。

   sysctl -p | grep net.ipv4.ip_forward

   如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。

   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
   sysctl -p | grep net.ipv4.ip_forward

步骤二：启动容器

1. 获取基础镜像。建议使用官方提供的镜像部署推理服务。镜像地址{image_url}参见表2 获取软件和镜像。

   docker pull {image_url}

2. 启动容器镜像。启动前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。

   export work_dir="自定义挂载的工作目录"
   export container_work_dir="自定义挂载到容器内的工作目录"
   export container_name="自定义容器名称"
   export image_name="镜像名称或ID"
   # --device的挂载请按照机器实际需要使用的npu数量来规划 下面给出的是16卡机器的例子
   docker run -itd \
      -u root \
      --device=/dev/davinci0 \
      --device=/dev/davinci1 \
      --device=/dev/davinci2 \
      --device=/dev/davinci3 \
      --device=/dev/davinci4 \
      --device=/dev/davinci5 \
      --device=/dev/davinci6 \
      --device=/dev/davinci7 \
      --device=/dev/davinci8 \
      --device=/dev/davinci9 \
      --device=/dev/davinci10 \
      --device=/dev/davinci11 \
      --device=/dev/davinci12 \
      --device=/dev/davinci13 \
      --device=/dev/davinci14 \
      --device=/dev/davinci15 \
      --device=/dev/davinci_manager \
      --device=/dev/devmm_svm \
      --device=/dev/hisi_hdc \
      -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
      -v /usr/local/dcmi:/usr/local/dcmi \
      -v /etc/ascend_install.info:/etc/ascend_install.info \
      -v /sys/fs/cgroup:/sys/fs/cgroup:ro \
      -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
      -v /usr/bin/hccn_tool:/usr/bin/hccn_tool \
      -v /etc/hccn.conf:/etc/hccn.conf \
      --shm-size 1024g \
      --net=host \
      -v ${work_dir}:${container_work_dir} \
      --name ${container_name} \
      ${image_name} \
      /bin/bash

   参数说明：

   • --name ${container_name} 容器名称，进入容器时会用到，此处可以自己定义一个容器名称，例如SparseDrive_train。
   • --device=/dev/davinci0 ：挂载对应卡到容器，请按照机器实际需要使用到的NPU数量来配置，上面给出的是使用16卡NPU训练的例子。
   • -v ${work_dir}:${container_work_dir}：代表需要在容器中挂载宿主机的目录。work_dir为宿主机中工作目录，目录下可存放项目所需代码、数据等文件，建议将AscendCloud-ACD-6.5.905-xxx.zip等所需文件放在work_dir中，便于容器内访问。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
3. 进入容器。需要将${container_name}替换为实际的容器名称。

   docker exec -it ${container_name} bash

步骤三：准备训练环境

假设步骤二：启动容器中挂载到容器中的目录container_work_dir为：/home/ma-user/work/，并且已包含AscendCloud-ACD-6.5.905-xxx.zip代码包。

1. 安装mmcv源码。

   # 卸载镜像内原有的mmcv
   pip uninstall mmcv -y
   cd /home/ma-user/work/
   git clone -b 1.x https://github.com/open-mmlab/mmcv.git
   cd mmcv
   MMCV_WITH_OPS=1 FORCE_NPU=1 python setup.py install

2. 安装Driving SDK。

   请参考昇腾Driving SDK代码仓说明编译安装Driving SDK。

   cd /home/ma-user/work/
   git clone https://gitee.com/ascend/DrivingSDK.git -b master 
   cd DrivingSDK 
   git checkout f15a2ae1a5add006bbc941d889e8173fb2cf7102 
   pip install -r requirements.txt 
   vim CMakePresets.json  # 修改 "ENABLE_ONNX"选项: 为False  
   bash ci/build.sh --python=3.10  # 按照镜像内python版本指定
   pip install ./dist/mx_driving-*.whl 

3. 将获取到的代码包AscendCloud-ACD-6.5.905-xxx.zip解压，并进入代码包目录。

   cd /home/ma-user/work/
   unzip AscendCloud-ACD-6.5.905-*.zip  # 解压
   cd AscendCloudDriving-*/

4. 下载代码，对原始模型代码仓应用patch文件，并安装依赖。

   cd models/SparseDrive/
   git clone https://github.com/swc-17/SparseDrive.git
   cp -rf ./test/ SparseDrive
   cp -rf SparseDrive.patch SparseDrive
   cd SparseDrive
   git checkout 52c4c05b6d446b710c8a12eb9fb19d698b33cb2b
   git apply --reject --whitespace=fix SparseDrive.patch
   pip install -r requirements.txt

5. 修改motmetrics代码以适配python3.10。

   vim /home/ma-user/anaconda3/envs/PyTorch-2.1.0/lib/python3.10/site-packages/motmetrics/metrics.py
   # 调整第8行，修改前：
   # from collections import OrderedDict, Iterable
   # 修改后：
   from conllections import OrderedDict
   from conllections.abc import Iterable

步骤四：准备训练数据集和模型权重

1. 用户参考模型代码仓数据准备小节，获取nuscenes数据集和CAN bus包，解压后，将CAN bus放到path/to/nuscenes目录中。在SparseDrive源码目录创建软连接data/nuscenes，指向解压后的nuscenes数据目录。

   mkdir data
   ln -s path/to/nuscenes ./data/nuscenes

2. 运行数据预处理脚本生成SparseDrive模型训练需要的pkl文件与初始锚框。

   sh test/preprocess.sh

   执行完成后会在data目录下生成info以及kmeans目录。

3. 获取预训练权重。

   mkdir ckpt
   wget https://download.pytorch.org/models/resnet50-19c8e357.pth -O ckpt/resnet50-19c8e357.pth

步骤五：开始训练

进入SparseDrive源码目录，执行如下命令进行训练。

• 进行8卡训练（精度）

  bash test/train_full.sh

• 进行8卡训练（性能）

  bash test/train_performance.sh

• 进行16卡训练（性能）

  NPUS=16 bash test/train_performance.sh

训练结果可以从work_dirs目录下获取。