更新时间:2025-09-08 GMT+08:00
分享

版本与部署依赖说明

版本与部署依赖配套关系

本解决方案所涉及的各组件及其版本关系见表1,其中ModelArts产品其他依赖关系见ModelArts版本配套关系表

如果您遇到需要硬件升级或硬件故障等问题,可以联系华为工程师处理。

表1 配套关系

类别

组件

Snt9b23配套关系

Snt9b配套关系

解决方案

部署版本包

6.5.907-Compello

6.5.907-Compello

昇腾云框架

昇腾云版本包

6.5.906

6.5.906

昇腾云基础镜像中CANN版本

8.2.RC1

8.2.RC1

依赖组件

HDK(NPU固件&驱动)

7.5.0.109.220-24.1.RC3.10

7.5.0.5.220-24.1.0.3

CCE

1.31

1.31

Volcano

1.17.11

1.17.11

ModelArts Device-Plugin

7.2.0-20250712144431

7.2.0-20250712144431

KubeInfer(modelarts-infers-operator)

1.5.1.20250808112402

1.5.1.20250808112402

CES-Agent

2.7.6.6

2.7.6.6

os-node-agent

7.2.0-20250715091122

7.2.0-20250715091122

获取部署版本包

  1. Support-E下载表1中对应版本的解决方案部署版本包,部署版本包名称为:AscendCloud-Solution-6.5.907-${timestamp}.zip。
  2. 将部署配套文件上传至存储配置中的挂载目录,例如:/mnt/deepseek/deploy。

    AscendCloud-Solution-6.5.907-${timestamp}/
    ├── llm_infer/
    │    └── deploy/                          # 推理部署配套文件,上传至共享盘并挂载
    │          ├── plugin/                    # 插件部署文件
    │          │    └──kubeinfer-crd.yaml    # KubeInfer部署文件
    │          ├── *.sh                       # 推理部署依赖脚本
    │          └── *.py                       # 推理部署依赖脚本

  3. 执行如下命令给予脚本执行权限

    dos2unix /mnt/deepseek/deploy/*
    chmod -R 750 /mnt/deepseek/deploy/

组件说明

部署过程中涉及的主要组件及其镜像地址和功能说明如如表2所示。

表2 组件版本与镜像

组件

镜像地址

功能说明

推理基础镜像(Snt9b23)

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b23-20250729103313-3a25129

昇腾云版本推理基础镜像,基于该基础镜像加上昇腾云版本包制作最终使用的推理镜像。

推理基础镜像(Snt9b)

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b-20250729103313-3a25129

KubeInfer

swr.cn-east-4.myhuaweicloud.com/atelier/modelarts-infers-operator:1.5.1.20250808112402

K8s CRD插件,即KubeInfer,用于部署推理服务。

相关文档