更新时间:2025-09-08 GMT+08:00
分享

获取推理镜像

  1. 根据表1获取相应资源的基础镜像版本

    表1 基础镜像

    资源类型

    基础镜像地址

    Snt9b23

    swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b23-20250729103313-3a25129

    Snt9b

    swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b-20250729103313-3a25129

  2. 获取软件配套版本

    Support-E下载ModelArts 6.5.T410-A3.7版本的软件包,软件包名称为:AscendCloud-6.5.913-{timestamp}.zip。

  3. 在安装有docker的环境中制作推理镜像,解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-xxx.zip和算子包AscendCloud-OPP-xxx.zip,并执行build_image.sh脚本制作推理镜像。安装过程需要连接互联网git clone,请确保机器环境可以访问公网。

    unzip AscendCloud-*.zip -d ./AscendCloud && cd ./AscendCloud && unzip AscendCloud-OPP-*.zip && unzip AscendCloud-OPP-*-torch-*-py*.zip -d ./AscendCloud-OPP && cd .. && unzip ./AscendCloud/AscendCloud-LLM-*.zip -d ./AscendCloud/AscendCloud-LLM && cd ./AscendCloud/AscendCloud-LLM/llm_inference/ascend_vllm/ && sh build_image.sh --base-image=${base_image} --image-name=${image_name}
    参数说明:
    • ${base_image}为基础镜像地址。
    • ${image_name}为推理镜像名称,可自行指定。

相关文档