# DeepSeek Janus-Pro模型基于轻量算力节点适配NPU推理指导（6.5.908）
#### 方案概览
DeepSeek Janus-Pro（简称：Janus-Pro），是DeepSeek发布的开源多模态AI模型，主要应用于文生图领域。本方案主要介绍在ModelArts 轻量算力节点上如何使用计算资源Ascend Snt9B开展DeepSeek Janus-Pro模型的推理过程。
#### 资源规格要求
推荐使用ModelArts 轻量算力节点的Ascend Snt9B单机单卡资源。
表1环境要求 
| 名称      | 版本            |
|:---|:---|
| Driver  | 25.2.1        |
| PyTorch | pytorch_2.1.0 |
   
#### 获取软件和镜像
 表2获取软件和镜像 
| 分类    | 名称                                                                                                                                                                                                                                      | 获取路径                                                                                                                                                                                                                                                                                                                                                                                             |
|:---|:---|:---|
| 插件代码包 | AscendCloud-AIGC-6.5.908-xxx.zip 文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。                                                                                             | 获取路径：[Support-E](https://support.huawei.com/enterprise/zh/cloud-computing/modelarts-pid-23404305/software/)，在此路径中查找下载ModelArts **6.5.908.5**版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 |
| 基础镜像包 | 西南-贵阳一： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b-20250729103313-3a25129 | SWR上拉取。                                                                                                                                                                                                                                                                                                                                                                                          |
   
#### 约束限制
- 本文档适配ModelArts 6.5.908版本，请参考[表2]获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。
- 确保容器可以访问公网。
 
#### 步骤一：检查环境
1. 请参考[轻量算力节点资源开通](https://support.huaweicloud.com/resmgmt-modelarts/usermanual-server-0005.html)，购买轻量算力节点资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。
   ![](https://support.huaweicloud.com/bestpractice-modelarts/public_sys-resources/note_3.0-zh-cn.png)
   购买轻量算力节点资源时如果无可选资源规格，需要联系华为云技术支持申请开通。
   当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见[禁止容器获取宿主机元数据](https://support.huaweicloud.com/bestpractice-cce/cce_bestpractice_0318.html#section4)。
   
2. SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。
   ```
   npu-smi info                    # 在每个实例节点上运行此命令可以看到NPU卡状态
   npu-smi info -l | grep Total    # 在每个实例节点上运行此命令可以看到总卡数
   ```
   如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常[安装固件和驱动](https://support.huaweicloud.com/resmgmt-modelarts/usermanual-server-0011.html#section4)，或释放被挂载的NPU。
   
3. 检查是否安装docker。
   ```
   docker -v   #检查docker是否安装
   ```
   如尚未安装，运行以下命令安装docker。
   ```
   yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64
   ```
   
4. 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。
   ```
   sysctl -p | grep net.ipv4.ip_forward
   ```
   如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。
   ```
   sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf
   sysctl -p | grep net.ipv4.ip_forward
   ```
   
5. 获取基础镜像。建议使用官方提供的镜像部署推理服务。镜像地址{image_url}参见[表2 获取软件和镜像]。
   ```
   docker pull {image_url}
   ```
   
6. 启动容器镜像。启动前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。
   ```
   export work_dir="自定义挂载的工作目录"
   export container_work_dir="自定义挂载到容器内的工作目录"
   export container_name="自定义容器名称"
   export image_name="镜像名称或ID"
   docker run -itd \
   --name ${container_name} \
   -v /sys/fs/cgroup:/sys/fs/cgroup:ro \
   -v /etc/localtime:/etc/localtime \
   -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
   -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
   -v ${work_dir}:${container_work_dir} \
   --shm-size 60g \
   --device=/dev/davinci0 \
   --device=/dev/davinci_manager \
   --device=/dev/hisi_hdc \
   --device=/dev/devmm_svm \
   --network=bridge \
   ${image_name} bash
   ```
   **参数说明：**
   - --name ${container_name} 容器名称，进入容器时会用到，此处可以自己定义一个容器名称，例如Janus。
   
   - --device=/dev/davinci0 ：挂载对应卡到容器，当需要挂载多卡，请依次添加多项该配置，本推理任务仅需要一张卡。
   
   - -v ${work_dir}:${container_work_dir}：代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统。work_dir为宿主机中工作目录，目录下可存放项目所需代码、数据等文件。container_work_dir为要挂载到的容器中的目录。为方便两个地址可以相同
    
7. 进入容器。需要将${container_name}替换为实际的容器名称。
   ```
   docker exec -it ${container_name} bash
   ```
   
 
#### 步骤二：上传代码、权重和数据集到容器中
1. 安装插件代码包。将获取到的插件代码包AscendCloud-AIGC-xxx.zip文件上传到容器的/home/ma-user目录下，并解压。
   ```
   cd /home/ma-user
   unzip AscendCloud-AIGC*.zip #解压
   ```
   
2. 下载代码，安装依赖。
   ```
   python -m pip install --upgrade pip
   git -c http.sslVerify=false clone https://github.com/deepseek-ai/Janus.git
   cd Janus 
   git checkout 1daa72fa409002d40931bd7b36a9280362469ead
   pip install -e .
   ```
   
3. 复制插件包中Janus-Pro的adaptor.py，generation_inference.py，inference.py到Janus路径下
   ```
   cd /home/ma-user
   cp -f multimodal_algorithm/Janus-Pro/* Janus
   pip install --upgrade "transformers==4.45.0"
   ```
   
4. 下载模型权重，该模型要下载两个权重，为Janus-Pro-1B，Janus-Pro-7B。权重下载地址： Janus-Pro-1B：<https://huggingface.co/deepseek-ai/Janus-Pro-1B/tree/main>
   Janus-Pro-7B：<https://huggingface.co/deepseek-ai/Janus-Pro-7B/tree/main>
   下载如[图1]和[图2]所示所有文件。
   图1**下载Janus-Pro-1B权重**   
   ![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000002472329085.png "点击放大")
   图2**下载Janus-Pro-7B权重**   
   ![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000002439009086.png "点击放大")
   
   
5. 下载好的权重目录结构如下图，将deepseek-ai文件夹上传到容器/home/ma-user/Janus路径下。
   图3权重目录结构   
   ![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000002438849174.png) 
 
#### 步骤三：开始推理
1. 进入容器中/home/ma-user/Janus路径下。
   ```
   cd /home/ma-user/Janus
   ```
   
2. 使用Janus-Pro-7B模型进行推理。
   1. 启动文生图的推理脚本，生成的图像在Janus路径下的/home/ma-user/Janus/generated_samples文件夹中。
      ```
      python generation_inference.py
      ```
      
   
   2. 启动理解任务的推理脚本，结果输出在终端中。
      ```
      python inference.py
      ```
      
    
3. 使用Janus-Pro-1B模型进行推理。
   1. 将generation_inference.py，inference.py文件中model的路径都改为"deepseek-ai/Janus-Pro-1B"。
      ```
      model_path = "deepseek-ai/Janus-Pro-1B"
      ```
      
   
   2. 启动文生图的推理脚本，生成的图像在Janus路径下的/home/ma-user/Janus/generated_samples文件夹中。
      ```
      python generation_inference.py
      ```
      
   
   3. 启动理解任务的推理脚本，结果输出在终端中。
      ```
      python inference.py
      ```
      
      
    
4. 文生图推理任务的生成的图像在/home/ma-user/Janus/generated_samples文件夹中，结果展示如下。
   图4推理任务生成图像示例   
   ![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000002472169217.png "点击放大") 
5. 理解任务的结果在终端打印。
   图5理解任务结果   
   ![](https://support.huaweicloud.com/bestpractice-modelarts/figure/zh-cn_image_0000002439009090.png "点击放大")