文档首页/ AI开发平台ModelArts/ 最佳实践/ 自动驾驶模型训练推理/ UniAD模型基于ModelArts Lite Server适配PyTorch NPU训练指导
更新时间：2025-09-08 GMT+08:00
查看PDF
分享

UniAD模型基于ModelArts Lite Server适配PyTorch NPU训练指导

方案概览

本方案介绍了在ModelArts Lite Server上使用昇腾计算资源Snt9B或Snt9B23开展Uniad模型的训练过程。

UniAD是一个遵循面向规划理念的统一自动驾驶算法框架。UniAD不是独立的模块化设计和多任务学习，而是分层地分配一系列任务，包括感知、预测和规划任务。UniAD能够成功解决不同任务的融合难的问题，从而实现多任务和高性能。

本方案介绍了在ModelArts Lite Server上使用昇腾计算资源Ascend Snt9B（8卡）或Snt9B23（16卡）开展UniAD模型的训练过程。

资源规格要求

推荐使用“西南-贵阳一”Region上的Lite Server资源和Ascend Snt9B或Snt9B23单机。

表1 环境要求

名称

版本

Driver

24.1.RC3.5（Snt9B23）

24.1.0.6（Snt9B）

PyTorch

pytorch_2.1.0

获取软件和镜像

表2 获取软件和镜像

分类

名称

获取路径

插件代码包

AscendCloud-ACD-6.5.905-xxx.zip文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。

获取路径：Support-E，在此路径中查找下载ModelArts 6.5.905版本。

说明：

如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

Snt9B基础镜像包

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.1.rc1-py_3.10-hce_2.0.2503-aarch64-snt9b-20250513111215-29295f8

SWR上拉取。

Snt9B23基础镜像包

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.1.rc1-py_3.10-hce_2.0.2503-aarch64-snt9b23-20250509115535-21587eb

SWR上拉取。

约束限制

  • 本文档适配昇腾云ModelArts 6.5.905版本，请参考表2 获取软件和镜像获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
  • 确保容器可以访问公网。

步骤一：检查环境

  1. 请参考Lite Server资源开通，购买Lite Server资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。

    购买Lite Server资源时如果无可选资源规格，需要联系华为云技术支持申请开通。

    当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。

  2. SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。 
    npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态

    如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

  3. 检查是否安装docker。 
    docker -v   #检查docker是否安装

    如尚未安装，运行以下命令安装docker。

    yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64
  4. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 
    sysctl -p | grep net.ipv4.ip_forward
    如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。 
    sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
sysctl -p | grep net.ipv4.ip_forward

步骤二：启动容器

  1. 获取基础镜像。建议使用官方提供的镜像部署推理服务。镜像地址{image_url}参见表2 获取软件和镜像。 
    docker pull {image_url}
  2. 启动容器镜像。启动前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。 
    export work_dir="自定义挂载的工作目录"
export container_work_dir="自定义挂载到容器内的工作目录"
export container_name="自定义容器名称"
export image_name="镜像名称或ID"
# --device的挂载请按照机器实际需要使用的npu数量来规划 下面给出的是16卡机器的例子
docker run -itd \
   -u root \
   --device=/dev/davinci0 \
   --device=/dev/davinci1 \
   --device=/dev/davinci2 \
   --device=/dev/davinci3 \
   --device=/dev/davinci4 \
   --device=/dev/davinci5 \
   --device=/dev/davinci6 \
   --device=/dev/davinci7 \
   --device=/dev/davinci8 \
   --device=/dev/davinci9 \
   --device=/dev/davinci10 \
   --device=/dev/davinci11 \
   --device=/dev/davinci12 \
   --device=/dev/davinci13 \
   --device=/dev/davinci14 \
   --device=/dev/davinci15 \
   --device=/dev/davinci_manager \
   --device=/dev/devmm_svm \
   --device=/dev/hisi_hdc \
   -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
   -v /usr/local/dcmi:/usr/local/dcmi \
   -v /etc/ascend_install.info:/etc/ascend_install.info \
   -v /sys/fs/cgroup:/sys/fs/cgroup:ro \
   -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
   -v /usr/bin/hccn_tool:/usr/bin/hccn_tool \
   -v /etc/hccn.conf:/etc/hccn.conf \
   --shm-size 1024g \
   --net=host \
   -v ${work_dir}:${container_work_dir} \
   --name ${container_name} \
   ${image_name} \
   /bin/bash

    参数说明：

    • --name ${container_name} 容器名称，进入容器时会用到，此处可以自己定义一个容器名称，例如Janus。
    • --device=/dev/davinci0 ：挂载对应卡到容器，当需要挂载多卡，请依次添加多项该配置，本推理任务仅需要一张卡。
    • -v ${work_dir}:${container_work_dir}：代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下可存放项目所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同
  3. 进入容器。需要将${container_name}替换为实际的容器名称。 
    docker exec -it ${container_name} bash

步骤二：上传代码、权重和数据集到容器中

  1. 创建新的虚拟环境。 
    conda create -n uniad --clone PyTorch-2.1.0
conda activate uniad
  2. 下载模型代码，将插件代码包AscendCloud-ACD-6.5.905-xxx.zip文件内的test文件夹移动到模型代码目录。插件代码包获取请参考表2 获取软件和镜像。 
    cd /home/ma-user
# 解压zip包后，生成一个AscendCloudDriving-*文件夹目录，后续操作将对此进行文件移动
unzip -q AscendCloud-ACD-6.5.905-xxx.zip
  3. 安装DrivingSDK。 
    cd /home/ma-user
git clone https://gitee.com/ascend/DrivingSDK.git -b master
cd DrivingSDK/
git checkout b5ea1a55c7d44081faaa93ce1a0974a27d51442d
pip3 install -r requirements.txt
vim CMakePresets.json  # 修改 "ENABLE_ONNX": 为False
umask 0027  # 保证文件权限正确
bash ci/build.sh --python=3.10
cd dist/
pip install mx_driving-1.0.0+gitb5ea1a5-cp310-cp310-linux_aarch64.whl
  4. 安装mmcv。 
    cd /home/ma-user
pip uninstall mmcv
git clone -b 1.x https://github.com/open-mmlab/mmcv.git
cp AscendCloudDriving-*/models/UniAD/mmcv.patch mmcv/
cd mmcv
git apply --reject --whitespace=fix mmcv.patch
pip install -r requirements/runtime.txt
MMCV_WITH_OPS=1 FORCE_NPU=1 python setup.py install
# pip list|grep mmcv
# mmcv-full  1.7.2
  5. 安装mmdet3d源码。 
    cd /home/ma-user
git clone -b v1.0.0rc6 https://github.com/open-mmlab/mmdetection3d.git
cd mmdetection3d
vi requirements/runtime.txt
# 需要对txt文件进行注释numba依赖包
# numba==0.53.0
pip install -r requirements/runtime.txt
pip install -e .
pip list |grep mmdet3d
# mmdet3d   1.0.0rc6
  6. uniad安装 
    cd /home/ma-user
git clone https://github.com/OpenDriveLab/UniAD.git
# 复制patch文件到项目目录中,以及test文件
cp AscendCloudDriving-*/models/UniAD/UniAD.patch UniAD/
cp -r AscendCloudDriving-*/models/UniAD/test/ UniAD/
cd UniAD
cp ./test/uniad_dist_perf.sh ./tools/
git checkout 3bf948eb3c960dfe266f44f04dea42fd3d36e403
git apply --reject --whitespace=fix UniAD.patch
pip install -r requirements.txt
  7. 安装依赖包并修改对应的代码 
    pip install pandas==1.5.0
pip install motmetrics==1.1.3
vi  /home/ma-user/anaconda3/envs/uniad/lib/python3.10/site-packages/motmetrics/metrics.py 
# 注释第8行：
# from collections import Iterable,OrderedDict
# 修改后：
from collections import OrderedDict
from collections.abc import Iterable
  8. 准备数据集。

    参考该网站进行数据集的准备

    1. 准备UniAD数据信息，从官网获取。 
      cd UniAD&& mkdir data&& cd data
ln -s path/to/nuscenes ./
mkdir infos && cd infos
wget https://github.com/OpenDriveLab/UniAD/releases/download/v1.0/nuscenes_infos_temporal_train.pkl  # train_infos
wget https://github.com/OpenDriveLab/UniAD/releases/download/v1.0/nuscenes_infos_temporal_val.pkl
    2. 准备运动锚点。 
      cd UniAD&& mkdir data&& cd data
mkdir others && cd others
wget https://github.com/OpenDriveLab/UniAD/releases/download/v1.0/motion_anchor_infos_mode6.pkl
  9. 获取预训练权重。可参考该网站下载权重。 
    cd /home/ma-user/UniAD
mkdir ckpts && cd ckpts
# Pretrained weights of bevformer
# Also the initial state of training stage1 model
wget https://github.com/zhiqi-li/storage/releases/download/v1.0/bevformer_r101_dcn_24ep.pth

# Pretrained weights of stage1 model (perception part of UniAD)
wget https://github.com/OpenDriveLab/UniAD/releases/download/v1.0/uniad_base_track_map.pth

# Pretrained weights of stage2 model (fully functional UniAD)
wget https://github.com/OpenDriveLab/UniAD/releases/download/v1.0.1/uniad_base_e2e.pth

    目录结构如下

    cd /home/ma-user/UniAD
UniAD
├── projects/
├── tools/
├── ckpts/
│   ├── bevformer_r101_dcn_24ep.pth
│   ├── uniad_base_track_map.pth
|   ├── uniad_base_e2e.pth
├── data/
│   ├── nuscenes/
│   │   ├── can_bus/
│   │   ├── maps/
│   │   ├── samples/
│   │   ├── sweeps/
│   │   ├── v1.0-test/
│   │   ├── v1.0-trainval/
│   ├── infos/
│   │   ├── nuscenes_infos_temporal_train.pkl
│   │   ├── nuscenes_infos_temporal_val.pkl
│   ├── others/
│   │   ├── motion_anchor_infos_mode6.pkl

步骤四：开始训练

  1. 性能测试

    第一个参数1或者 2（参数是指stage1或者stage2）

    第二个参数8或者16（参数是指8卡或者16卡）
    • 单机8卡 
      cd /home/ma-user/UniAD
bash test/train_stage_performance.sh 1 8 # stage1
bash test/train_stage_performance.sh 2 8 # stage2
    • 单机16卡 
      cd /home/ma-user/UniAD
bash test/train_stage_performance.sh 1 16 # stage1
bash test/train_stage_performance.sh 2 16 # stage2
  2. 精度测试 
    cd /home/ma-user/UniAD
bash test/train_stage_full.sh 1 8 # stage1
bash test/train_stage_full.sh 2 8 # stage2
  3. 输出结果

  4. 日志输出目录 
    # 精度输出日志
cd /home/ma-user/UniAD/test/output/full
# 性能输出日志
cd /home/ma-user/UniAD/test/output/perf

相关文档