Hunyuan-DiT基于DevServer部署适配PyTorch NPU推理指导（6.3.909）
混元DiT，一个基于Diffusion transformer的文本到图像生成模型，此模型具有中英文细粒度理解能力。
方案概览
本方案介绍了在ModelArts Lite DevServer上使用昇腾计算资源Ascend Snt9B开展Hunyuan-DiT使用diffusers框架的推理过程。
约束限制
- 本方案目前仅适用于企业客户。
- 本文档适配昇腾云ModelArts 6.3.909版本，请参考表1获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
- 确保容器可以访问公网。
资源规格要求
推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。
软件配套版本
|
分类 |
名称 |
获取路径 |
|---|---|---|
|
插件代码包 |
AscendCloud-6.3.909软件包中的AscendCloud-AIGC-6.3.909-xxx.zip 文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。 |
获取路径：Support-E
说明：
如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 |
镜像版本
本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。
|
配套软件版本 |
镜像用途 |
镜像地址 |
配套 |
获取方式 |
|---|---|---|---|---|
|
6.3.909版本 |
基础镜像 |
swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2406-aarch64-snt9b-20240910112800-2a95df3 |
cann_8.0.rc3 pytorch_2.1.0 驱动23.0.6 |
从SWR拉取 |
不同软件版本对应的基础镜像地址不同，请严格按照软件版本和镜像配套关系获取基础镜像。
步骤一：检查环境
- 请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。
购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。
当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。
- SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。
npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。
- 检查是否安装docker。
docker -v #检查docker是否安装
如尚未安装，运行以下命令安装docker。
yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64
- 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。
sysctl -p | grep net.ipv4.ip_forward
如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward
步骤二：启动镜像
export work_dir="自定义挂载的工作目录"
export container_work_dir="自定义挂载到容器内的工作目录"
export container_name="自定义容器名称"
export image_name="镜像名称或ID"
// 启动一个容器去运行镜像
docker run -itd --net=bridge \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci_manager \
--device=/dev/devmm_svm \
--device=/dev/hisi_hdc \
--shm-size=60g \
-p 8585:8585 \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /var/log/npu/:/usr/slog \
-v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
-v ${work_dir}:${container_work_dir} \
--name ${container_name} \
${image_name} \
/bin/bash
参数说明：
- --name ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。
- --device=/dev/davinci0：挂载NPU设备，该推理示例中挂载了1张卡davinci0。
- -p 8585:8585: 映射端口号
- driver及npu-smi需同时挂载至容器。
- 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。
步骤三：进入容器
docker exec -it ${container_name} bash
步骤四：下载依赖代码包并上传到宿主机
下载华为侧插件代码包AscendCloud-AIGC-6.3.909-xxx.zip文件，获取路径参见表1。本案例使用的是解压到子目录/aigc_inference/torch_npu/目录下的所有文件，将该目录上传到宿主机上的工作目录下，例如：${container_work_dir}/aigc_inference/torch_npu/，目录结构如下：
步骤五：下载Hunyuan-DiT模型并安装依赖
- 下载Hunyuan-DiT模型
从github下载Hunyuan-DiT模型，需要先安装lfs才能下载全部模型权重，Hunyuan-DiT-Diffusers权重文件夹大概27G。
cd ${container_work_dir} git config --global http.sslVerify false # 先安装lfs wget https://github.com/git-lfs/git-lfs/releases/download/v3.5.1/git-lfs-linux-arm64-v3.5.1.tar.gz tar zxf git-lfs-linux-arm64-v3.5.1.tar.gz cd git-lfs-3.5.1/ bash install.sh git lfs install git clone https://huggingface.co/Tencent-Hunyuan/HunyuanDiT-Diffusers - 复制执行脚本
cd ${container_work_dir} cp ${container_work_dir}/aigc_inference/torch_npu/diffusers/0_21_2/ascend_diffusers/examples/hunyuan_dit_example.py .修改hunyuan_dit_example.py脚本第16行，改为hunyuan-dit模型路径：
- 安装ascend_diffusers插件
执行以下命令安装华为侧插件ascend_diffusers。
pip install -e ${container_work_dir}/aigc_inference/torch_npu/diffusers/0_21_2/ascend_diffusers - 安装依赖
运行以下命令进入工作目录，安装所需依赖包。
cd ${container_work_dir} pip install accelerate==0.33.0 diffusers==0.30.3 transformers sentencepiece
步骤六：Hunyuan-DiT推理调用
cd ${container_work_dir}
python hunyuan_dit_example.py
查看结果
