更新时间:2025-10-14 GMT+08:00
分享

版本与部署依赖说明

版本与部署依赖配套关系

本解决方案所涉及的各组件及其版本关系见表1,其中ModelArts产品其他依赖关系见ModelArts版本配套关系表

如果您遇到需要硬件升级或硬件故障等问题,可以联系华为工程师处理。

表1 配套关系表

类别

组件

Snt9b23配套关系

Snt9b配套关系

解决方案

部署版本包

6.5.908-Compello

6.5.908-Compello

昇腾云框架

昇腾云版本包(DeepSeek)

6.5.201

6.5.201

昇腾云版本包(Qwen)

6.5.T908.1

6.5.T908.1

昇腾云基础镜像中CANN版本(DeepSeek)

8.2.RC1

8.2.RC1

昇腾云基础镜像中CANN版本(Qwen)

8.1.RC2

-

依赖组件

HDK(NPU固件&驱动)(DeepSeek)

7.7.0.9.220-25.2.1

7.5.0.5.220-24.1.0.3

CCE

1.31

1.31

Volcano

1.18.3

1.18.3

ModelArts Device-Plugin

7.2.2-20250904170414

7.2.2-20250904170414

KubeInfer(modelarts-infers-operator)

1.5.1.20250830170702

1.5.1.20250830170702

CES-Agent

2.8.2.1

2.8.2.1

os-node-agent

7.2.2-20250812115143

7.2.2-20250812115143

获取部署版本包

  1. Support-E下载表1中对应版本的解决方案部署版本包,部署版本包名称为:AscendCloud-Solution-6.5.908-${timestamp}.zip。
  2. 将部署配套文件上传至存储配置中的挂载目录,例如:/mnt/deepseek/deploy。
    AscendCloud-Solution-6.5.908-${timestamp}/
    ├── llm_infer/
    │    └── deploy/                          # 推理部署配套文件,上传至共享盘并挂载
    │          ├── plugin/                    # 插件部署文件
    │          │    └──kubeinfer-crd.yaml    # KubeInfer部署文件
    │          ├── *.sh                       # 推理部署依赖脚本
    │          └── *.py                       # 推理部署依赖脚本
  3. 执行如下命令给予脚本执行权限
    dos2unix /mnt/deepseek/deploy/*
    chmod -R 750 /mnt/deepseek/deploy/

获取昇腾云版本包

Support-E下载表1中对应版本的昇腾云版本包,昇腾云版本包名称为:AscendCloud-6.5.913-${timestamp}.zip。

组件说明

部署过程中涉及的主要组件及其镜像地址和功能说明如如表2所示。

表2 组件版本与镜像

组件

镜像地址

功能说明

推理基础镜像(Snt9b23)

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b23-20250729103313-3a25129

昇腾云版本推理基础镜像,基于该基础镜像加上昇腾云版本包(DeepSeek)制作最终使用的推理镜像。

推理基础镜像(Snt9b)

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b-20250729103313-3a25129

推理基础镜像(Snt9b23)

swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.1.rc2-py_3.11-hce_2.0.2503-aarch64-snt9b23-20250731145156-e56e6f2

昇腾云版本推理基础镜像,基于该基础镜像加上昇腾云版本包(Qwen)制作最终使用的推理镜像。

KubeInfer

swr.cn-east-4.myhuaweicloud.com/atelier/modelarts-infers-operator:1.5.1.20250830170702

K8s CRD插件,即KubeInfer,用于部署推理服务。

相关文档