文档首页/ AI开发平台ModelArts/ 最佳实践/ DeepSeek&Qwen3基于Lite Server&Cluster推理/ DeepSeek模型基于ModelArts Lite Cluster适配NPU的PD分离推理解决方案/ 准备、安装部署依赖/ 获取推理镜像
更新时间：2025-09-08 GMT+08:00
查看PDF
分享

获取推理镜像

  1. 根据表1获取相应资源的基础镜像版本

    表1 基础镜像

    资源类型

    基础镜像地址

    Snt9b23

    swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b23-20250729103313-3a25129

    Snt9b

    swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b-20250729103313-3a25129

  2. 获取软件配套版本

    从Support-E下载ModelArts 6.5.T410-A3.7版本的软件包，软件包名称为：AscendCloud-6.5.913-{timestamp}.zip。

  3. 在安装有docker的环境中制作推理镜像，解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-xxx.zip和算子包AscendCloud-OPP-xxx.zip，并执行build_image.sh脚本制作推理镜像。安装过程需要连接互联网git clone，请确保机器环境可以访问公网。 

    unzip AscendCloud-*.zip -d ./AscendCloud && cd ./AscendCloud && unzip AscendCloud-OPP-*.zip && unzip AscendCloud-OPP-*-torch-*-py*.zip -d ./AscendCloud-OPP && cd .. && unzip ./AscendCloud/AscendCloud-LLM-*.zip -d ./AscendCloud/AscendCloud-LLM && cd ./AscendCloud/AscendCloud-LLM/llm_inference/ascend_vllm/ && sh build_image.sh --base-image=${base_image} --image-name=${image_name}
    参数说明：
    • ${base_image}为基础镜像地址。
    • ${image_name}为推理镜像名称，可自行指定。

相关文档