文档首页/ AI开发平台ModelArts/ 最佳实践/ AIGC模型训练推理/ LLaMA-VID基于DevServer适配PyTorch NPU推理指导（6.3.910)
更新时间：2024-12-17 GMT+08:00
查看PDF
分享

LLaMA-VID基于DevServer适配PyTorch NPU推理指导（6.3.910)

方案概览

本方案介绍了在ModelArts Lite DevServer上使用昇腾计算资源Ascend Snt9B开展LLaMA-VID的推理过程。

约束限制

  • 本方案目前仅适用于企业客户。
  • 本文档适配昇腾云ModelArts 6.3.910版本，请参考获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
  • 确保容器可以访问公网。

资源规格要求

推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。

获取软件和镜像

表1 获取软件和镜像

分类

名称

获取路径

插件代码包

AscendCloud-6.3.910软件包中的AscendCloud-AIGC-6.3.910-xxx.zip

文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。

获取路径：Support-E，在此路径中查找下载ModelArts 6.3.910 版本。

说明：

如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

基础镜像包

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241112192643-c45ac6b

SWR上拉取。
表2 模型镜像版本

模型

版本

CANN

cann_8.0.rc3

驱动

23.0.6

PyTorch

2.1.0

步骤一 检查环境

  1. 请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。

    购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。

    当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。

  2. SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。 
    npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态
npu-smi info -l | grep Total    # 在每个实例节点上运行此命令可以看到总卡数

    如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

  3. 检查是否安装docker。 
    docker -v   #检查docker是否安装

    如尚未安装，运行以下命令安装docker。

    yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64
  4. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 
    sysctl -p | grep net.ipv4.ip_forward
    如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。 
    sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
sysctl -p | grep net.ipv4.ip_forward

步骤二 获取基础镜像

建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表1。

docker pull {image_url}

步骤三 启动容器镜像

启动容器镜像，启动前可以根据实际需要增加修改参数。

docker run -itd --net=host \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
--device=/dev/davinci_manager \
--device=/dev/devmm_svm \
--device=/dev/hisi_hdc \
--shm-size=1024g \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /var/log/npu/:/usr/slog \
-v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
-v ${work_dir}:${container_work_dir} \
--name ${container_name} \${image_id}  \
/bin/bash
  • --device=/dev/davinciX 挂载NPU设备，示例中挂载了1张卡
  • work_dir：工作目录，目录下存放着训练所需代码、数据等文件
  • container_work_dir: 容器工作目录，一般同work_dir
  • container_name：自定义容器名
  • image_id：镜像ID，通过docker images来查看拉取的镜像ID。

步骤四 进入容器

通过容器名称进入容器中。默认使用ma-user用户执行后续命令。

docker exec -it  ${container_name} bash

修改权限。

sudo chown -R ma-user:ma-group ${container_work_dir}

此步骤可能需要密码或root权限。

步骤五 下载代码及安装环境

下载华为侧插件代码包AscendCloud-AIGC-6.3.910-xxx.zip文件，获取路径参见表1。

unzip AscendCloud-AIGC-6.3.910-xxx.zip 
解压后，进到指定目录：
cd multimodal_algorithm/LLaMA-VID/
执行安装脚本：
bash llama_vid_install.sh

步骤六 下载模型参数

从链接https://huggingface.co/YanweiLi/llama-vid-7b-full-224-video-fps-1中，下载模型参数，并根据以下目录结构存放
LLaMA-VID
├── llamavid
├── scripts
├── work_dirs
│   ├── llama-vid
│   │   ├── llama-vid-7b-full-224-video-fps-1
│   │   ├── ...

步骤七 下载model_zoo相关数据

从以下5个链接下载model_zoo数据

https://huggingface.co/lmsys/vicuna-7b-v1.5
https://huggingface.co/lmsys/vicuna-13b-v1.5
https://storage.googleapis.com/sfr-vision-language-research/LAVIS/models/BLIP2/eva_vit_g.pth
https://storage.googleapis.com/sfr-vision-language-research/LAVIS/models/InstructBLIP/instruct_blip_vicuna7b_trimmed.pth
https://storage.googleapis.com/sfr-vision-language-research/LAVIS/models/InstructBLIP/instruct_blip_vicuna13b_trimmed.pth

在根目录LLaMA-VID下创建model_zoo路径，下载的文件根据以下目录结构进行存放

LLaMA-VID
├── llamavid
├── scripts
├── work_dirs
├── model_zoo
│   ├── LLM
│   │   ├── vicuna
│   │   │   ├── 7B-V1.5
│   │   │   ├── 13B-V1.5
│   ├── LAVIS
│   │   ├── eva_vit_g.pth
│   │   ├── instruct_blip_vicuna7b_trimmed.pth
│   │   ├── instruct_blip_vicuna13b_trimmed.pth

步骤8 下载MSVD_QA数据集

MSVD_QA数据集下载路径：https://mycuhk-my.sharepoint.com/:u:/g/personal/1155186668_link_cuhk_edu_hk/EUNEXqg8pctPq3WZPHb4Fd8BYIxHO5qPCnU6aWsrV1O4JQ?e=guynwu

解压后，存放的目录结构如下：

LLaMA-VID
├── data
│   ├── LLaMA-VID-Eval
│   │   ├── MSVD-QA

步骤9 启动一级流水优化

export TASK_QUEUE_ENABLE=2

步骤10 修改msvd_eval.sh参数

修改scripts/video/eval/msvd_eval.sh中的参数

  1. 模型存放的地方，如果根据第2步的方式保存的模型，设置如下： 
    CKPT="llama-vid/llama-vid-7b-full-224-video-fps-1"
  2. 调用openai的key，评估精度时需要调用openai，需要填写正确的key，这个可能需要进行付费调用，评估1000条大概需要0.15美元 
    OPENAIKEY=""

    注：openai不支持中国大陆和香港，不能使用中国的代理。

  3. 推理结果保存的文件名，可不用修改，使用默认的文件名 
    OUTPUTNAME=pred

步骤11 执行推理脚本

bash scripts/video/eval/msvd_eval.sh

步骤12 查看推理结果

在./work_dirs/eval_msvd/$CKPT下，存在两个文件，可以查看推理的精度和性能结果

  1. 精度结果文件：accuracy_${time_stamp}.json
  2. 性能结果文件：performance_${time_stamp}.json
图1 精度结果
图2 性能结果
父主题： AIGC模型训练推理

相关文档