PointPillar模型基于ModelArts Lite Server适配PyTorch NPU训练指导
方案概览
PointPillar是一种高效的三维目标检测模型,专为自动驾驶场景设计,其核心创新在于将点云数据转换为伪图像,再利用成熟的2D卷积神经网络进行处理,实现了速度与精度的平衡,尤其适合实时自动驾驶系统。
本方案介绍了在ModelArts Lite Server上使用昇腾计算资源Ascend Snt9B(8卡)或Snt9B23(16卡)开展PointPillar模型训练的过程。
资源规格要求
推荐使用“西南-贵阳一”Region上的Lite Server资源和Ascend Snt9B或Snt9B23单机。
名称 |
版本 |
---|---|
NPU卡数 |
Ascend Snt9B:8卡 Ascend Snt9B23:8卡 或 16卡 |
Driver |
24.1.RC3.5(Snt9B23) 24.1.0.6(Snt9B) |
PyTorch |
pytorch_2.1.0 |
获取软件和镜像
分类 |
名称 |
获取路径 |
---|---|---|
插件代码包 |
AscendCloud-ACD-xxx.zip 文件名中的xxx表示具体的版本号和时间戳,以实际发布的包名为准。 |
获取路径:Support-E,在此路径中查找下载ModelArts 6.5.906.1版本。
说明:
如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 |
Snt9B基础镜像包 |
swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.1.rc1-py_3.10-hce_2.0.2503-aarch64-snt9b-20250513111215-29295f8 |
SWR上拉取。 |
Snt9B23基础镜像包 |
swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.1.rc1-py_3.10-hce_2.0.2503-aarch64-snt9b23-20250509115535-21587eb |
SWR上拉取。 |
约束限制
- 本文档适配昇腾云ModelArts 6.5.906版本,请参考表2 获取软件和镜像获取配套版本的软件包和镜像,请严格遵照版本配套关系使用本文档。
- 确保容器可以访问公网。
步骤一:检查环境
- 请参考Lite Server资源开通,购买Lite Server资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。
购买Lite Server资源时如果无可选资源规格,需要联系华为云技术支持申请开通。
当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。
- SSH登录机器后,检查NPU卡状态。运行如下命令,返回NPU设备信息。
npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态
如出现错误,可能是机器上的NPU设备没有正常安装,或者NPU镜像被其他容器挂载。请先正常安装固件和驱动,或释放被挂载的NPU。
- 检查是否安装docker。
docker -v #检查docker是否安装
如尚未安装,运行以下命令安装docker。
yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64
- 配置IP转发,用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值,如果为1,可跳过此步骤。
sysctl -p | grep net.ipv4.ip_forward
如果net.ipv4.ip_forward配置项的值不为1,执行以下命令配置IP转发。sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward
步骤二:启动容器
- 获取基础镜像。建议使用官方提供的镜像部署推理服务。镜像地址{image_url}参见表2 获取软件和镜像。
docker pull {image_url}
- 启动容器镜像。启动前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。
export work_dir="自定义挂载的工作目录" export container_work_dir="自定义挂载到容器内的工作目录" export container_name="自定义容器名称" export image_name="镜像名称或ID" # --device的挂载请按照机器实际需要使用的npu数量来规划 下面给出的是16卡机器的例子 docker run -itd \ -u root \ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci2 \ --device=/dev/davinci3 \ --device=/dev/davinci4 \ --device=/dev/davinci5 \ --device=/dev/davinci6 \ --device=/dev/davinci7 \ --device=/dev/davinci8 \ --device=/dev/davinci9 \ --device=/dev/davinci10 \ --device=/dev/davinci11 \ --device=/dev/davinci12 \ --device=/dev/davinci13 \ --device=/dev/davinci14 \ --device=/dev/davinci15 \ --device=/dev/davinci_manager \ --device=/dev/devmm_svm \ --device=/dev/hisi_hdc \ -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /etc/ascend_install.info:/etc/ascend_install.info \ -v /sys/fs/cgroup:/sys/fs/cgroup:ro \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ -v /usr/bin/hccn_tool:/usr/bin/hccn_tool \ -v /etc/hccn.conf:/etc/hccn.conf \ --shm-size 1024g \ --net=host \ -v ${work_dir}:${container_work_dir} \ --name ${container_name} \ ${image_name} \ /bin/bash
参数说明:
- -v ${work_dir}:${container_work_dir}:代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。为方便两个地址可以相同。例如“/home/maptrv2:/home/maptrv2”
${work_dir}为宿主机中工作目录,目录下可存放项目所需代码、数据等文件。请确保容器内用户对此路径有足够的访问权限。
${container_work_dir}为要挂载到的容器中的目录。
- --name ${container_name} 容器名称,进入容器时会用到,此处可以自己定义一个容器名称,例如“pointpillars_test”。
- --device=/dev/davinci0 :挂载对应卡到容器,请按照机器实际需要使用到的NPU数量来配置,上面给出的是使用16卡NPU训练的例子。
- image_name:表示镜像名称或者镜像id
- -v ${work_dir}:${container_work_dir}:代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。为方便两个地址可以相同。例如“/home/maptrv2:/home/maptrv2”
- 进入容器。需要将${container_name}替换为实际的容器名称。
docker exec -it ${container_name} bash
步骤二:上传代码、权重和数据集到容器中
- 创建新的虚拟环境。
conda create -n PointPillars --clone PyTorch-2.1.0 conda activate PointPillars
- 创建项目目录。
mkdir -p /home/PointPillars cd /home/PointPillars export P_HOME=`pwd`
- 下载模型代码,将插件代码包AscendCloud-ACD-*.zip 文件上传到容器的${P_HOME}目录下,并解压。插件代码包获取请参考表2 获取软件和镜像。
cd $P_HOME # 解压zip包后,生成一个AscendCloudDriving-*文件夹目录,后续操作将对此进行文件移动 unzip -q AscendCloud-ACD-*.zip
- 安装DrivingSDK。
cd $P_HOME git clone https://gitee.com/ascend/DrivingSDK.git -b master cd DrivingSDK/ git checkout 633ef95628c23c76d5e3c2f81aaf4b2954895a4a pip3 install -r requirements.txt vim CMakePresets.json # 修改 "ENABLE_ONNX": 为False umask 0027 # 保证文件权限正确 bash ci/build.sh --python=3.10 cd dist/ pip install mx_driving-1.0.0+git633ef95-cp310-cp310-linux_aarch64.whl pip3 show mx-driving # mx-driving 1.0.0+git633ef95
- 安装依赖。
pip install numpy==1.24.2
- 安装mmcv。
pip uninstall mmcv cd $P_HOME git clone https://github.com/open-mmlab/mmcv.git cd mmcv git checkout 90d83c94cfb967ef162c449faf559616f31f28c2 MMCV_WITH_OPS=1 MAX_JOBS=8 FORCE_NPU=1 python setup.py build_ext MMCV_WITH_OPS=1 FORCE_NPU=1 python setup.py install pip list|grep mmcv # mmcv 2.2.0
- 安装mmengine。
pip install -U openmim mim install mmengine
- 安装setuptools
pip install setuptools==65.5.1
- 安装mmdet源码。
cd $P_HOME git clone https://github.com/open-mmlab/mmdetection.git cd mmdetection git checkout cfd5d3a985b0249de009b67d04f37263e11cdf3d git apply ../AscendCloudDriving-*/models/PointPillar/mmdetection.patch pip install -e .
- 安装mmdet3d包。
cd $P_HOME git clone https://github.com/open-mmlab/mmdetection3d.git cd mmdetection3d git checkout 962f093736ffe55c089bc618842a8b8567318c8c git apply ../AscendCloudDriving-*/models/PointPillar/mmdetection3d.patch pip install -e . cp -r ../AscendCloudDriving-*/models/PointPillar/npu_scripts ./
- 准备数据集。
a. 若没有准备数据集,需下载nuscenes数据集,然后再软连接到data目录。
准备PointPillar数据信息,从官网获取。cd $P_HOME/mmdetection3d cd data ln -s path/to/nuscenes ./
目录结构如下
mmdetection3d/ ├── data/ │ ├── nuscenes/ │ │ ├── maps/ │ │ ├── samples/ │ │ ├── sweeps/ │ │ ├── can_bus/ │ │ ├── lidarseg/ │ │ ├── v1.0-test/ | │ ├── v1.0-trainval/ | │ ├── nuscenes_gt_database/ | │ ├── nuscenes_dbinfos_train.pkl | │ ├── nuscenes_infos_val.pkl | │ ├── nuscenes_infos_train.pkl | │ ├── nuscenes_infos_val.pkl | │ ├── nuscenes_infos_test.pk
b. 进行数据预处理cd $P_HOME/mmdetection3d python tools/create_data.py nuscenes --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag nuscenes
步骤四:开始训练
- 性能测试
- 单机8卡
cd $P_HOME/mmdetection3d bash npu_scripts/train_perf.sh 8
- 单机16卡
cd $P_HOME/mmdetection3d bash npu_scripts/train_perf.sh 16
- 单机8卡
- 精度测试
cd $P_HOME/mmdetection3d bash npu_scripts/train_full.sh 8
- 查看输出日志。
# 精度输出日志 $P_HOME/mmdetection3d/tests/output/0/full/ # 性能输出日志 $P_HOME/mmdetection3d/tests/output/0/perf/