SDXL&SD1.5 ComfyUI基于Lite Cluster适配NPU推理指导（6.3.906）

方案概览

本方案介绍了在ModelArts的Lite Cluster上使用昇腾计算资源部署ComfyUI用于推理的详细过程。完成本方案的部署，需要先联系您所在企业的华为方技术支持购买Cluster资源。

本方案目前仅适用于企业客户，并且需要用户具备k8s集群相关技能。

资源规格要求

推荐使用“西南-贵阳一”Region上的Cluster资源

获取软件和镜像

约束限制

请参考表2获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。

本方案使用需要用户具备k8s集群相关技能。

Step1 准备环境

1. 请参考Cluster资源开通，购买Cluster资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。
   

   当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。

2. 配置Cluster资源，确保可以通过公网访问Cluster机器，具体配置请参见配置Lite Cluster网络。
3. SSH登录机器后，检查NPU设备检查。运行如下命令，返回NPU设备信息。

   npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态
   npu-smi info -l | grep Total    # 在每个实例节点上运行此命令可以看到总卡数

   如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

4. 检查docker是否安装。

   docker -v   #检查docker是否安装

   如尚未安装，运行以下命令安装docker。

   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

Step2 获取基础镜像

建议使用官方提供的镜像部署服务。镜像地址{image_url}参见表2。

docker pull {image_url}

Step3 下载并安装软件

1. 在宿主机上创建目录/root/comfyui，将下面步骤中所有的文件放到/root/comfyui目录下。
2. 下载模型，模型下载地址：SD1.5模型地址 ，SDXL下载地址。根据自己的需要下载对应的模型。
3. 将获取到的ComfyUI插件AscendCloud-AIGC-6.3.906-xxx.zip文件上传到/root/comfyui，并解压。获取路径参见表2。

   unzip AscendCloud-AIGC-*.zip -d ./AscendCloud
   mv AscendCloud/aigc_inference/torch_npu/comfyui/831511a1eecbe271/comfyui_ascend_node ./
   rm -rf AscendCloud*

4. 编写dockerfile

   FROM swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240606190017-b881580
   
   RUN cd /home/ma-user && git clone https://github.com/comfyanonymous/ComfyUI.git -c http.sslVerify=false && cd ComfyUI/ && git reset --hard 831511a1eecbe271e302f2f2053f285f00614180 && pip install -r requirements.txt 
   
   COPY --chown=ma-user:ma-group v1-5-pruned-emaonly.safetensors /home/ma-user/ComfyUI/models/checkpoints
   COPY --chown=ma-user:ma-group sd_xl_base_1.0.safetensors /home/ma-user/ComfyUI/models/checkpoints
   COPY --chown=ma-user:ma-group comfyui_ascend_node /home/ma-user/ComfyUI/custom_nodes/comfyui_ascend_node 
   
   ENTRYPOINT cd /home/ma-user/ComfyUI && source /usr/local/Ascend/ascend-toolkit/set_env.sh && python main.py --port 30027 --listen 0.0.0.0 --force-fp16

5. 基于dockerfile进行build

   docker build -t comfyui:v1 .

Step4 上传镜像到容器镜像服务

参考pull/push 镜像体验章节，将上一步build的镜像上传到容器镜像服务上。

Step5 使用CCE进行部署

在CCE上创建工作负载，创建工作负载时所需的yaml文件可参考在Lite Cluster资源池上使用Snt9B完成推理任务。

在CCE上创建服务。