OpenEMMA模型基于ModelArts Lite Server适配PyTorch NPU推理指导

方案概览

本方案介绍了在ModelArts Lite Server上使用昇腾计算资源Ascend Snt9B23或Ascend Snt9B开展OpenEMMA模型的推理过程。

Open-EMMA是Waymo的端到端多模态自动驾驶模型 (EMMA) 的一个开源实现，提供了一个用于自动驾驶车辆运动规划的端到端框架。利用视觉语言模型（VLMs）的预训练世界知识，通过整合文本和多视角相机输入，实现对未来自车航路点的准确预测和决策解释。

资源规格要求

推荐使用“西南-贵阳一”Region上的Lite Server资源和Ascend Snt9B23单机单卡或Ascend Snt9B单机单卡。

获取软件和镜像

约束限制

• 本文档适配昇腾云ModelArts 6.5.905版本，请参考表2 获取软件和镜像获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
• 确保容器可以访问公网。

步骤一：检查环境

1. 请参考Lite Server资源开通，购买Lite Server资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。
   

   购买Lite Server资源时如果无可选资源规格，需要联系华为云技术支持申请开通。

   当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。

2. SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。

   npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态

   如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

3. 检查是否安装docker。

   docker -v   #检查docker是否安装

   如尚未安装，运行以下命令安装docker。

   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

4. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。

   sysctl -p | grep net.ipv4.ip_forward

   如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。

   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
   sysctl -p | grep net.ipv4.ip_forward

步骤二：启动容器镜像

1. 获取基础镜像。建议使用官方提供的镜像部署推理服务。镜像地址{image_url}参见表2 获取软件和镜像。

   docker pull {image_url}

2. 启动容器镜像。启动前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。

   export work_dir="自定义挂载的工作目录"
   export container_work_dir="自定义挂载到容器内的工作目录"
   export container_name="自定义容器名称"
   export image_name="镜像名称或ID"
   docker run -itd \
       -u root \
       --device=/dev/davinci0 \
       --device=/dev/davinci_manager \
       --device=/dev/devmm_svm \
       --device=/dev/hisi_hdc \
       -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
       -v /usr/local/dcmi:/usr/local/dcmi \
       -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
       --shm-size 1024g \
       -v ${work_dir}:${container_work_dir} \
       --name ${container_name} \
       ${image_name} \
       /bin/bash

   参数说明：

   • --name ${container_name} 容器名称，进入容器时会用到，此处可以自己定义一个容器名称，例如OpenEMMA。
   • --device=/dev/davinci0 ：挂载对应卡到容器，当需要挂载多卡，请依次添加多项该配置，本推理任务仅需要一张卡。
   • -v ${work_dir}:${container_work_dir}：代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下可存放项目所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
3. 进入容器。需要将${container_name}替换为实际的容器名称。

   docker exec -it ${container_name} bash

步骤三：上传代码、权重和数据集到容器中

1. 下载代码，安装依赖。

   /home/ma-user/anaconda3/envs/PyTorch-2.1.0/bin/python3.10 -m pip install --upgrade pip
   cd /home/ma-user
   git clone https://github.com/taco-group/OpenEMMA
   cd OpenEMMA 
   git checkout b5b742684b6fb71471ee436df46294390d8a8bca
   pip install -r requirements.txt

2. 解压ACD代码包，使用patch补丁

   cd /home/ma-user/OpenEMMA
   unzip -q AscendCloud-ACD-6.5.905-*.zip    # 解压905自动驾驶相关版本包
   git apply AscendCloudDriving-*/models/OpenEmma/openemma.patch

3. 准备输入数据

   下载并解压缩nuscenes数据集

4. 下载模型权重，该模型可以使用LLaVA-1.6-Mistral-7B，Llama-3.2-11B-Vision-Instruct与Qwen2-VL-7B-Instruct等本地模型权重。权重下载地址：

   Qwen2-VL-7B-Instruct为例：Qwen/Qwen2-VL-7B-Instruct · Hugging Face

   下载如图1 下载Qwen2-VL-7B-Instruct权重所有文件。

   图1 下载Qwen2-VL-7B-Instruct权重
   

步骤四：开始推理

1. 进入容器中/home/ma-user/OpenEMMA路径下。

   cd /home/ma-user/OpenEMMA

2. 使用Qwen2-VL-7B-Instruct模型进行推理。

   python main.py  --model-path [qwen2vl-7b权重路径]  --dataroot [dir-of-nuscnse-dataset]  --version v1.0-trainval --method openemma
   # 示例
   python main.py  --model-path /home/ma-user/openemma_test/weights/Qwen2-VL-7B-Instruct  --dataroot /home/ma-user/openemma_test/data/nuscenes  --version v1.0-trainval --method openemma

3. 终端输出日志。
   图2 日志
   
4. 输出结果保存在qwen2vl-7b权重路径同级目录。

   Qwen2-VL-7B-Instruct/         
   Qwen2-VL-7B-Instruct_results/

   图3 文件夹结果
   
   图4 输出图像