文档首页/ AI开发平台ModelArts/ 最佳实践/ DeepSeek&Qwen3基于Lite Server&Cluster推理/ DeepSeek&Qwen3模型基于Lite Cluster适配NPU的混部推理解决方案/ 准备、安装部署依赖/ 获取推理镜像
更新时间：2025-10-14 GMT+08:00
查看PDF
分享

获取推理镜像

  1. 根据表2获取相应资源的推理基础镜像。
  2. 根据获取昇腾云版本包获取相应资源的推理软件包。
  3. 用于开源三方大模型推理的参考制作推理镜像来构建生产镜像。

    用于DeepSeek推理的在安装有docker的环境中执行下述命令制作镜像，请确保机器环境可以访问公网： 
    unzip AscendCloud-*.zip -d ./AscendCloud && cd ./AscendCloud && unzip AscendCloud-OPP-*.zip && unzip AscendCloud-OPP-*-torch-*-py*.zip -d ./AscendCloud-OPP && cd .. && unzip ./AscendCloud/AscendCloud-LLM-*.zip -d ./AscendCloud/AscendCloud-LLM && cd ./AscendCloud/AscendCloud-LLM/llm_inference/ascend_vllm/ && sh build_image.sh --base-image=${base_image} --image-name=${image_name}
    参数说明：
    • ${base_image}为基础镜像地址。
    • ${image_name}为推理镜像名称，可自行指定。

相关文档