SDXL ComfyUI插件基于DevServer适配PyTorch NPU推理指导（6.3.904）

方案概览

本方案介绍了在ModelArts的DevServer上使用昇腾计算资源部署ComfyUI用于推理的详细过程。完成本方案的部署，需要先联系您所在企业的华为方技术支持购买DevServer资源。

本方案目前仅适用于企业客户。

资源规格要求

推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B单机单卡。

获取软件和镜像

约束限制

• 本文档适配昇腾云ModelArts 6.3.904版本，请参考表2获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
• 确保容器可以访问公网。

Step1 准备环境

1. 请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。
   

   当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。

2. SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。

   npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态
   npu-smi info -l | grep Total    # 在每个实例节点上运行此命令可以看到总卡数

   如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

3. 检查docker是否安装。

   docker -v   #检查docker是否安装

   如尚未安装，运行以下命令安装docker。

   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

4. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。

   sysctl -p | grep net.ipv4.ip_forward

   如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。

   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
   sysctl -p | grep net.ipv4.ip_forward

Step2 获取基础镜像

建议使用官方提供的镜像部署服务。镜像地址{image_url}参见表2。

docker pull {image_url}

Step3 启动容器镜像

1. 启动容器镜像。启动前请先按照参数说明修改${}中的参数。

   export work_dir="自定义挂载的工作目录"
   export container_work_dir="自定义挂载到容器内的工作目录"
   export container_name="自定义容器名称"
   export image_name="镜像名称"
   // 启动一个容器去运行镜像
   docker run -itd \
           --device=/dev/davinci1 \
           --device=/dev/davinci_manager \
           --device=/dev/devmm_svm \
           --device=/dev/hisi_hdc \
           -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
           -v /usr/local/dcmi:/usr/local/dcmi \
           -v /etc/ascend_install.info:/etc/ascend_install.info \
           -v /sys/fs/cgroup:/sys/fs/cgroup:ro \
           -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
           --shm-size 32g \
           --net=bridge \
           -p 8443:8443 \
           -v ${work_dir}:${container_work_dir} \
           --name ${container_name} \
           ${image_name} bash

   参数说明：

   • -v ${work_dir}:${container_work_dir}：代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下存放着训练所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
     

     • 容器不能挂载到/home/ma-user目录，此目录为ma-user用户家目录。如果容器挂载到/home/ma-user下，拉起容器时会与基础镜像冲突，导致基础镜像不可用。

     • driver及npu-smi需同时挂载至容器。
   • --name ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。
   • ${image_name}：容器镜像的名称。
2. 通过容器名称进入容器中。

   docker exec -it ${container_name} bash

Step4 下载并安装软件

1. 从github下载ComfyUI代码并安装依赖。

   cd /home/ma-user
   git clone https://github.com/comfyanonymous/ComfyUI.git
   cd ComfyUI
   git reset --hard 831511a1eecbe271e302f2f2053f285f00614180
   pip install -r requirements.txt

   如果出现报错SSL certificate problem: self signed certificate in certificate chain

   图1 报错SSL certificate problem
   
   可采取忽略SSL证书验证：使用以下命令来克隆仓库，它将忽略SSL证书验证。

   git clone -c http.sslVerify=false https://github.com/comfyanonymous/ComfyUI.git

   

   此处根据ComfyUI官网描述进行配置。

2. 下载SD模型并安装。部署好ComfyUI环境和依赖后，还需要将模型放到对应位置。
   1. 下载模型，模型下载地址：sd1.5模型地址 ，sdxl下载地址。根据自己的需要下载对应的模型，如下图，并将模型上传到容器内自定义挂载的工作目录。
      图2 模型列表
      
   2. 将模型复制到/home/ma-user/ComfyUI/models/checkpoints目录下。
3. 将获取到的ComfyUI插件ascendcloud-aigc-6.3.904-*.tar.gz文件上传到容器的/home/ma-user/ComfyUI/custom_nodes目录下，并解压。获取路径参见表2。

   cd /home/ma-user/ComfyUI/custom_nodes/
   tar -zxvf ascendcloud-aigc-6.3.904-*.tar.gz
   tar -zxvf ascendcloud-aigc-extensions-comfyui.tar.gz
   rm -rf ascendcloud-aigc-6.3.904-*

   

   ascendcloud-aigc-6.3.904-*.tar.gz后面的*表示时间戳，请按照实际替换。

4. 使用容器IP启动服务。

   cd /home/ma-user/ComfyUI
   python main.py --port 8443 --listen ${docker_ip} --force-fp16

   ${docker_ip}替换为容器实际的IP地址。可以在宿主机上通过docker inspect容器ID |grep IPAddress命令查询。

Step5 服务调用

1. 在浏览器中输入http://ip:8443访问界面，页面如下图。
   图3 访问界面
   
2. 双击访问页面，并搜索“Ascend”，单击“AscendNode”，如下图。
   图4 搜索Ascend
   
   会得到一个新的关于NPU的checkpoint，如下图。

   图5 NPU的checkpoint
   
3. 根据上面checkpoint的箭头，对新的NPU的checkpoint进行规划，如下图。
   图6 规划checkpoint
   
4. 在ckpt_name中选择要使用的权重文件，device_id为要使用的NPU卡号，单击“Queue Prompt”加入推理队列进行推理，如下图。
   图7 加入推理队列
   

   成功之后结果如下图。

   图8 推理成功
   

   首次加载或切换模型进行推理时，需要加载模型并进行相关的初始化工作，首次推理时间较长，请耐心等待。