VAR/XAR/RandAR/Infinity自回归图像生成模型基于Lite Server适配NPU推理指导（6.5.908)

方案概览

视觉自回归模型通常用于处理如图像生成或像素预测等任务，这些模型通过逐个像素或区域生成的方式工作，类似于文本处理中的自回归语言模型。

本文主要介绍如何在ModelArts的Lite Server环境中，使用NPU资源部署视觉自回归模型（包括VAR/XAR/RandAR/Infinity模型）的推理任务。完成本方案的部署，需要先联系您所在企业的华为方技术支持购买Server资源。

资源规格要求

推荐使用ModelArts Lite Server的Ascend Snt9B单机资源。

获取软件和镜像

约束限制

• 本文档适配ModelArts 6.5.908版本，请参考表2获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
• 确保容器可以访问公网。

步骤一：准备环境

1. 请参考Lite Server资源开通，购买Server资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。
   

   当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。

2. SSH登录机器后，检查NPU设备状态。运行如下命令，返回NPU设备信息。

   npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态
   npu-smi info -l | grep Total    # 在每个实例节点上运行此命令可以看到总卡数

   如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

3. 检查docker是否安装。

   docker -v   #检查docker是否安装

   如尚未安装，运行以下命令安装docker。

   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

4. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。

   sysctl -p | grep net.ipv4.ip_forward

   如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。

   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
   sysctl -p | grep net.ipv4.ip_forward

步骤二：获取基础镜像

建议使用官方提供的镜像部署服务。镜像地址{image_url}参见表2。

docker pull {image_url}

步骤三：启动容器镜像

1. 启动容器镜像。启动前请先按照参数说明修改${}中的参数。

   export work_dir="自定义挂载的工作目录"
   export container_work_dir="自定义挂载到容器内的工作目录"
   export container_name="自定义容器名称"
   export image_name="镜像名称或ID"
   // 启动一个容器去运行镜像 
   docker run  -itd --net=bridge \
       --device=/dev/davinci0 \
       --device=/dev/davinci_manager \
       --device=/dev/devmm_svm \
       --device=/dev/hisi_hdc \
       --shm-size=256g \
       -v /usr/local/dcmi:/usr/local/dcmi \
       -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
       -v /var/log/npu/:/usr/slog \
       -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
       -v ${work_dir}:${container_work_dir} \
       --name ${container_name} \
       ${image_name} \
       /bin/bash

   参数说明：

   • -v ${work_dir}:${container_work_dir}：代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下可存放项目所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
     

     • 容器不能挂载到/home/ma-user目录，此目录为ma-user用户家目录。如果容器挂载到/home/ma-user下，拉起容器时会与基础镜像冲突，导致基础镜像不可用。

     • driver及npu-smi需同时挂载至容器。
   • --name ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。
   • ${image_name}：容器镜像的名称。
   • --device=/dev/davinci0 ：挂载对应卡到容器，当需要挂载多卡，请依次添加多项该配置。
2. 通过容器名称进入容器中。默认使用ma-user用户，后续所有操作步骤都在ma-user用户下执行。

   docker exec -it ${container_name} bash

步骤四：安装依赖和软件包

1. git clone和git lfs下载大模型可以参考如下操作。
   1. 由于欧拉源上没有git-lfs包，所以需要从压缩包中解压使用，在浏览器中输入如下地址下载git-lfs压缩包并上传到容器的/home/ma-user目录下。

      https://github.com/git-lfs/git-lfs/releases/download/v3.2.0/git-lfs-linux-arm64-v3.2.0.tar.gz

      或直接下载到容器，这样在容器中可以直接使用。

      cd /home/ma-user
      wget https://github.com/git-lfs/git-lfs/releases/download/v3.2.0/git-lfs-linux-arm64-v3.2.0.tar.gz

   2. 进入容器，执行安装git lfs命令。

      cd /home/ma-user
      tar -zxvf git-lfs-linux-arm64-v3.2.0.tar.gz 
      cd git-lfs-3.2.0 
      sudo sh install.sh

   3. 设置git配置去掉ssl校验。

      git config --global http.sslVerify false

2. 安装AIGC软件包。
   1. 将获取到的软件包AscendCloud-AIGC-*.zip文件上传到容器的/home/ma-user目录下。获取路径参见获取软件和镜像。
   2. 解压AscendCloud-AIGC-*.zip文件，解压后按照步骤安装Python依赖，执行以下命令即可。

      cd /home/ma-user
      unzip AscendCloud-AIGC-*.zip -d ./AscendCloud

Infinity推理适配

1. 把Infinity代码包移动到/home/ma-user/目录下并安装。

   cd /home/ma-user
   cp -r /home/ma-user/AscendCloud/aigc_inference/torch_npu/autoregressive_model/Infinity/* ./
   bash prepare.sh
   cd Infinity/weights

2. 在github项目网页中，参考图1，下载Infinity权重文件和flan-t5-xl文件到weights文件夹下。
   图1 下载Infinity权重文件和flan-t5-xl
   
3. 重命名infinity_vae_d32reg.pth为infinity_vae_d32_reg.pth。
4. 下载完之后weights目录结构如下。
   图2 weights目录结构
   
5. 请检查../run.sh文件内的环境变量PYTHONPATH，取值包含步骤1中放置的Infinity包的实际路径。例如：

   export PYTHONPATH=$PYTHONPATH:/home/ma-user/Infinity

6. 运行推理代码。

   cd /home/ma-user/Infinity
   bash ../run.sh

   推理代码运行结束后，会在/home/ma-user/Infinity目录下自动生成tmp.jpg，确认图像是否正常。

VAR推理适配

1. 把VAR代码包移动到/home/ma-user/目录下并安装。

   cd /home/ma-user
   cp -r /home/ma-user/AscendCloud/aigc_inference/torch_npu/autoregressive_model/var/* ./
   bash prepare.sh

2. 在github项目网页中，参考图3，下载VAR权重文件到/home/ma-user/VAR目录下。
   图3 下载VAR权重文件
   
   下载完之后目录结构如下：

   图4 /home/ma-user/VAR目录结构
   
3. 找一张512*512的图片放在/home/ma-user/VAR目录下，命名为imagenet_512.jpg，如：
   图5 imagenet_512.jpg
   
4. 运行推理代码。

   cd /home/ma-user/VAR
   bash ../run.sh

   推理代码运行结束后，会在/home/ma-user/VAR目录下自动生成output_image.png，确认图像是否正常。

RandAR推理适配

1. 把RandAR代码包移动到/home/ma-user/目录下并安装。

   cd /home/ma-user
   cp -r /home/ma-user/AscendCloud/aigc_inference/torch_npu/autoregressive_model/randar/* ./
   bash prepare.sh

2. 执行如下命令，在/home/ma-user/RandAR目录下，下载预训练模型randar_0.7b_llamagen_360k_bs_1024_lr_0.0004.safetensors权重文件和下载vq_ds16_c2i.pt权重文件。

   cd RandAR
   wget "https://huggingface.co/ziqipang/RandAR/resolve/main/randar_0.7b_llamagen_360k_bs_1024_lr_0.0004.safetensors"
   wget https://huggingface.co/FoundationVision/LlamaGen/resolve/main/vq_ds16_c2i.pt

   下载完之后目录结构如下。

   图6 /home/ma-user/RandAR目录结构
   
3. 运行推理代码。

   cd /home/ma-user/RandAR
   bash ../run.sh

4. 推理代码运行结束后，会在/home/ma-user/RandAR/samples/sample_randar_0.7b_llamagen_360k-randar_0.7b_llamagen_360k_bs_1024_lr_0.0004-size-256-size-256-cfg-1.0,4.0-seed-0目录下自动生成推理结果，确认图像是否正常。

xAR推理适配

1. 把xAR代码包移动到/home/ma-user/目录下并安装。

   cd /home/ma-user
   cp -r /home/ma-user/AscendCloud/aigc_inference/torch_npu/autoregressive_model/xar/* ./
   bash prepare.sh

2. 执行如下命令，在/home/ma-user/xAR目录下，下载xAR权重文件。

   cd /home/ma-user/xAR
   wget https://huggingface.co/OliverRen/xAR/resolve/main/xAR-B.pth
   wget https://huggingface.co/xwen99/mar-vae-kl16/resolve/main/kl16.ckpt

   下载完之后目录结构如下。

   图7 /home/ma-user/xAR目录结构
   
3. 修改/home/ma-user/run.sh中XARPATH和VAEPATH改为实际路径。

   VAEPATH=/home/ma-user/xAR/kl16.ckpt
   XARPATH=/home/ma-user/xAR/xAR-B.pth

4. 运行推理代码。

   cd /home/ma-user/xAR
   bash ../run.sh

5. 推理代码运行结束后，会在/home/ma-user/xAR/目录下自动生成0000.png，确认图像是否正常。