# HiDream-I1-Full模型基于ModelArts轻量算力节点适配NPU推理指导（6.5.911）
#### 方案概览
HiDream-I1 Full是由HiDream团队开发的图像生成基础MOE模型，具有稀疏DiT结构，首先采用具有动态MOE的双流结构分别处理文本以及图像信息，然后使用具有动态MOE的单流结构对信息进行混合处理，以经济高效的方式进行图像生成。
但是由于其参数量的庞大，无法使用单卡对其进行推理，因此需要使用TP、EP等并行方式对其进行优化，使用多卡进行并行推理。
#### 资源规格要求
ModelArts 轻量算力节点的Snt9b单机资源。
表1Ascend Snt9B 环境要求 
| 名称      | 版本            |
|:---|:---|
| driver  | 24.1.0.6      |
| PyTorch | pytorch_2.5.1 |
   
#### 获取软件和镜像
 表2获取镜像 
| 分类    | 名称                                                                                                                                                                                                                                         | 获取路径                                                                                                                                                                                                                                                                                                                                                                                        |
|:---|:---|:---|
| 插件代码包 | AscendCloud-AIGC-6.5.911-xxx.zip 文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。                                                                                                 | 获取路径：[Support-E](https://support.huawei.com/enterprise/zh/cloud-computing/modelarts-pid-23404305/software/)，在此路径中查找下载ModelArts 6.5.911.3版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 |
| 基础镜像  | Snt9b：西南-贵阳一： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc2-py_3.11-hce_2.0.2509-aarch64-snt9b-20251105194139-a70c13c | 从SWR拉取。                                                                                                                                                                                                                                                                                                                                                                                     |
   
#### 约束限制
- 本文档适配ModelArts 6.5.911版本，请参考[表2]获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
- 确保容器可以访问公网。
 
#### 步骤一：准备环境
1. 请参考[轻量算力节点资源开通](https://support.huaweicloud.com/resmgmt-modelarts/usermanual-server-0005.html)，购买资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。
   ![](https://support.huaweicloud.com/bestpractice-modelarts/public_sys-resources/note_3.0-zh-cn.png)
   当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见[禁止容器获取宿主机元数据](https://support.huaweicloud.com/bestpractice-cce/cce_bestpractice_0318.html#section4)。
   
2. SSH登录机器后，检查NPU设备状态。运行如下命令，返回NPU设备信息。
   ```
   npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态
   npu-smi info -l | grep Total    # 在每个实例节点上运行此命令可以看到总卡数
   ```
   如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常[安装固件和驱动](https://support.huaweicloud.com/resmgmt-modelarts/usermanual-server-0011.html#section4)，或释放被挂载的NPU。
   
3. 检查docker是否安装。
   ```
   docker -v   #检查docker是否安装
   ```
   如尚未安装，运行以下命令安装docker。
   ```
   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64
   ```
   
4. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。
   ```
   sysctl -p | grep net.ipv4.ip_forward
   ```
   如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。
   ```
   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
   sysctl -p | grep net.ipv4.ip_forward
   ```
   
 
#### 步骤二：获取基础镜像
建议使用官方提供的镜像部署服务。镜像地址{image_url}参见[表2]。
```
docker pull {image_url}
```
#### 步骤三：启动容器镜像（Snt9b）
1. Snt9b启动容器镜像。启动前请先按照参数说明修改${}中的参数。
   ```
   export work_dir="自定义挂载的工作目录"
   export container_work_dir="自定义挂载到容器内的工作目录"
   export container_name="自定义容器名称"
   export image_name="镜像名称或ID"
   // 启动一个容器去运行镜像 
   docker run -itd \
       --network=host \
       --device=/dev/davinci0 \
       --device=/dev/davinci1 \
       --device=/dev/davinci2 \
       --device=/dev/davinci3 \
       --device=/dev/davinci4 \
       --device=/dev/davinci5 \
       --device=/dev/davinci6 \
       --device=/dev/davinci7 \
       --device=/dev/davinci_manager \
       --device=/dev/devmm_svm \
       --device=/dev/hisi_hdc \
       --shm-size=256g \
       -v /usr/local/dcmi:/usr/local/dcmi \
       -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
       -v /var/log/npu/:/usr/slog \
       -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
       -v ${work_dir}:${container_work_dir} \
       --name ${container_name} \
       ${image_name} \
       /bin/bash
   ```
   **参数说明：**
   - -v ${work_dir}:${container_work_dir}：代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下可存放项目所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同。
     ![](https://support.huaweicloud.com/bestpractice-modelarts/public_sys-resources/note_3.0-zh-cn.png)
     - 容器不能挂载到/home/ma-user目录，此目录为ma-user用户家目录。如果容器挂载到/home/ma-user下，拉起容器时会与基础镜像冲突，导致基础镜像不可用。
     
     
     
     - driver及npu-smi需同时挂载至容器。
       
   
   - --name ${container_name}：容器名称，进入容器时会用到，此处可以自己定义一个容器名称。
   
   - ${image_name}：容器镜像的名称。
   
   - --device=/dev/davinci0 ：挂载对应卡到容器，当需要挂载多卡，请依次添加多项该配置。
    
2. Snt9b通过容器名称进入容器中。默认使用ma-user用户，后续所有操作步骤都在ma-user用户下执行。
   ```
   docker exec -it ${container_name} bash
   ```
   
 
#### 步骤四：安装依赖和软件包
1. 将获取到的插件代码包AscendCloud-AIGC-xxx.zip文件上传到容器的/home/ma-user/目录下，并解压。
   ```
   cd /home/ma-user/
   unzip AscendCloud-AIGC-*.zip -d ./AscendCloud #解压
   ```
   
2. 下载权重文件至容器目录，需要用到的模型地址如下。
   - HiDream-I1-Full，地址: [https://huggingface.co/HiDream-ai/HiDream-I1-Full](https://support.huaweicloud.com/bestpractice-modelarts/modelarts_hidream_5911.html#ZH-CN_TOPIC_0000002531844783)
   
   - Llama-3.1-8B-Instruct，地址: [https://huggingface.co/meta-llama/Llama-3.1-8B-Instruct](https://support.huaweicloud.com/bestpractice-modelarts/modelarts_hidream_5911.html#ZH-CN_TOPIC_0000002531844783)
   
   - 将权重放到 /home/ma-user/weights目录下，例如：
   
   
   ```
   weights
   ├──HiDream-I1-Full
   └──Llama-3.1-8B-Instruct
   ```
   
 
#### 步骤五：执行推理
1. 安装依赖。
   ```
   cd /home/ma-user/AscendCloud/aigc_inference/torch_npu/diffusers/0.35.0/examples
   pip install -r requirements.txt
   ```
   
2. 执行推理。
   ```
   bash hidream_infer.sh
   ```