FlUX.1基于DevServer适配PyTorch NPU推理指导（6.3.911）

方案概览

本方案介绍了在ModelArts Lite DevServer上使用昇腾计算资源Ascend Snt9B开展Flux模型的FLUX.1-dev版本分别使用ComfyUI 0.2.2和Diffusers 0.30.2框架的推理过程。另外，FLUX.1-schnell模型的使用方法和FLUX.1-dev一致，只需替换权重文件即可，本文以FLUX.1-schn为例。

约束限制

• 本方案目前仅适用于企业客户。
• 本文档适配昇腾云ModelArts 6.3.911版本，请参考表1获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
• 确保容器可以访问公网。

资源规格要求

推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。

软件配套版本

镜像版本

本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。

不同软件版本对应的基础镜像地址不同，请严格按照软件版本和镜像配套关系获取基础镜像。

步骤一：检查环境

1. 请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。
   

   购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。

   当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。

2. SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。

   npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态
   npu-smi info -l | grep Total    # 在每个实例节点上运行此命令可以看到总卡数

   如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。

3. 检查是否安装docker。

   docker -v   #检查docker是否安装

   如尚未安装，运行以下命令安装docker。

   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64

4. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。

   sysctl -p | grep net.ipv4.ip_forward

   如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。

   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
   sysctl -p | grep net.ipv4.ip_forward

步骤二：启动镜像

export work_dir="自定义挂载的工作目录"
export container_work_dir="自定义挂载到容器内的工作目录"
export container_name="自定义容器名称"
export image_name="镜像名称或ID"
// 启动一个容器去运行镜像 
docker run  -itd --net=bridge \
    --device=/dev/davinci0 \
    --device=/dev/davinci_manager \
    --device=/dev/devmm_svm \
    --device=/dev/hisi_hdc \
    --shm-size=60g \
    -p 8585:8585 \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
    -v /var/log/npu/:/usr/slog \
    -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
    -v ${work_dir}:${container_work_dir} \
    --name ${container_name} \
    ${image_name} \
    /bin/bash

参数说明：

• --name ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。
• --device=/dev/davinci0：挂载NPU设备，该推理示例中挂载了1张卡davinci0。
• -p 8585:8585：映射端口号，用户可自定义未被占用的端口号。
  

  • driver及npu-smi需同时挂载至容器。
  • 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。

步骤三：进入容器

docker exec -it ${container_name} bash

步骤四：下载依赖代码包并上传到宿主机

下载华为侧插件代码包AscendCloud-AIGC-6.3.911-xxx.zip文件，获取路径参见表1。将该目录上传到宿主机上的工作目录下，例如：${container_work_dir}/，然后解压到工作目录下。

步骤五：下载ComfyUI代码并安装依赖

1. 下载ComfyUI源码

   从github下载ComfyUI代码并切换到0.2.2分支。

   cd ${container_work_dir}
   git clone -c http.sslVerify=false https://github.com/comfyanonymous/ComfyUI.git 
   cd ComfyUI 
   # 切换到comfyui 0.2.2分支
   git reset --hard 0c7c98a

2. 下载flux模型权重

   下载模型权重文件，并将模型放到容器内自定义挂载的工作目录。

   • 下载Diffusion模型权重文件flux1-dev.safetensors，放到${container_work_dir}/ComfyUI/models/unet 目录下。其中，

     FLUX.1-dev下载链接：https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

     如下图所示：

     图1 flux1-dev.safetensors
     
   • 下载vae权重，放到 ${container_work_dir}/ComfyUI/models/vae 目录下，FLUX.1-dev和FLUX.1-schnell使用相同的vae权重。

     下载链接：

     https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

     如下图所示：

     图2 vae权重
     
   • 下载text_encoder权重文件夹，放到${container_work_dir}/ComfyUI/models/clip 目录下。

     下载链接：https://huggingface.co/stabilityai/stable-diffusion-3-medium/tree/main

     图3 text_encoder权重文件
     
3. 替换Ascend_node

   将${container_work_dir}/aigc_inference/torch_npu/comfyui/a82fae2/comfyui_ascend_node文件夹复制到${container_work_dir}/ComfyUI/custom_nodes/目录下。

4. 安装ascend_diffusers插件

   执行以下命令安装华为侧插件ascend_diffusers。

   pip install -e ${container_work_dir}/aigc_inference/torch_npu/diffusers/0_21_2/ascend_diffusers

5. 安装依赖

   运行以下命令进入工作目录，安装所需依赖包。

   cd ${container_work_dir}
   
   pip install transformers==4.44.2  accelerate==0.34.2  sentencepiece==0.2.0  einops==0.8.0 torchsde==0.2.6  aiohttp==3.10.5  omegaconf==2.3.0   fastapi==0.115.0  uvicorn==0.30.6 spandrel==0.4.0   kornia==0.7.3

6. 修改comfyui 源码

   修改 ${container_work_dir}/ComfyUI/comfy/ldm/flux/math.py 文件中rope()方法，把linespace的dtype改成torch.float32：

   

7. 下载workflow文件

   以workflow-flux1-dev-KnSeTKHjvuTd0RiUDSmW-datou-openart.ai.json为例：

   下载链接： https://openart.ai/workflows/datou/flux1-dev/KnSeTKHjvuTd0RiUDSmW

   如下图所示，单击“Download”进行下载，下载的json文件放到windows机器上任意位置即可，后续在windows上启动服务后需要加载使用。

   图4 下载workflow文件
   

步骤六：ComfyUI 0.2.2 服务调用

1. 获取容器IP地址

   在已启动的容器内，使用ifconfig命令获取容器IP，记为${container_ip_address}，本例中为172.17.0.7。若无效可使用ip addr，或者自行寻找其他方式获取到容器IP。

   图5 使用ifconfig命令获取容器IP
   
2. 使用容器IP启动服务

   cd ${container_work_dir}/ComfyUI 
   
   python main.py --port ${port} --force-fp16 --listen ${container_ip_address}

   参数说明：

   • port：为启动镜像时映射port
   • container_ip_address：为容器IP，如上图的172.17.0.7
   • 默认不使用图模式
   • 若要使用图模式，需要配置环境变量 export GRAPH_MODE=1。如果使用了图模式，则首次推理时间较长，请耐心等待。
3. 浏览器启动

   浏览器启动时，需要使用宿主机IP，在浏览器中输入 http://${host_ip_address}:${port} ,例如：http://7.216.55.96:8585/

   参数说明：

   • host_ip_address：为宿主机IP地址
   • port：为启动镜像时映射port

   访问界面如下图。

   图6 访问界面
   
4. 加载workflow文件，选择workflow-flux1-dev-KnSeTKHjvuTd0RiUDSmW-datou-openart.ai.json。
   图7 加载workflow文件
   
5. 选择Diffusion model，单击选择flux1-dev.safetensors，如下图。
   图8 选择flux1-dev.safetensors
   
6. 选择clip模型，clip_name1选择text_encoders/t5xxl_fp16.safetensors，clip_name2选择text_encoders/clip_l.safetensors, 如下图。
   图9 选择clip模型
   
7. 选择vae模型，如下图。
   图10 选择vae模型
   
8. 配置推理的参数，如width、height、batch_size等，本文以 688*1024，25步为例，如下图所示。
   图11 配置推理参数
   
9. 单击Queue Prompt加入推理队列进行推理，如下图
   图12 推理队列
   

   成功之后结果如下图所示。首次加载或切换模型推理时，需要加载模型并进行相关初始化工作，如果使用了图模式，则首次推理时间较长，请耐心等待。

   图13 推理成功
   

步骤七：Flux+Diffusers 0.30.2适配

本章节介绍Flux模型使用Diffusers 0.30.2框架的推理过程。使用官方提供的已经训练好的模型进行推理，输入prompt生成指定像素的图片。

1. 使用如下命令登录huggingface，并输入个人账号的token，用于自动下载flux权重。

   huggingface-cli login

2. 下载华为侧插件代码包AscendCloud-AIGC-6.3.911-xxx.zip文件，将该文件夹上传到宿主机上的工作目录下，例如 ${container_work_dir}/，并解压。
3. 安装ascend_diffusers插件

   pip install -e ${container_work_dir}/aigc_inference/torch_npu/diffusers/0_21_2/ascend_diffusers

4. 运行以下命令进入工作目录，安装所需依赖包。

   cd ${container_work_dir}
   
   pip install diffusers==0.30.2

5. 修改diffusers源码

   修改 /home/ma-user/anaconda3/envs/PyTorch-2.1.0/lib/python3.9/site-packages/diffusers/models/transformers/transformer_flux.py 文件中rope()方法，把scale计算中的dtype改成torch.float32。

   图14 修改diffusers源码
   
6. 运行推理脚本。

   sed -i 's/self.verify = True/self.verify = False/g' /home/ma-user/anaconda3/envs/PyTorch-2.1.0/lib/python3.9/site-packages/requests/sessions.py
   
   python ${container_work_dir}/aigc_inference/torch_npu/diffusers/0_21_2/ascend_diffusers/examples/sd_inference_example.py --flux --model_id black-forest-labs/FLUX.1-dev --prompt 'a dog' --num_inference_steps 25 --width 688  --height  1024

   参数说明如下：

   • --width ：生成图片的宽
   • --height： 生成图片的长
   • --num_inference_steps：推理步数
   • --dynamo: 使用图模式。如果使用该参数，则首次编译时间较长，请耐心等待。
   推理完成后，生成的图片image_1024x688.png保存在当前路径下，如下图所示。

   图15 推理结果