版本与部署依赖说明
版本与部署依赖配套关系
本解决方案所涉及的各组件及其版本关系见表1，其中ModelArts产品其他依赖关系见ModelArts版本配套关系表。
如果您遇到需要硬件升级或硬件故障等问题，可以联系华为工程师处理。
|
类别 |
组件 |
Snt9b23配套关系 |
Snt9b配套关系 |
|---|---|---|---|
|
解决方案 |
部署版本包 |
6.5.907-Compello |
6.5.907-Compello |
|
昇腾云框架 |
昇腾云版本包 |
6.5.906 |
6.5.906 |
|
昇腾云基础镜像中CANN版本 |
8.2.RC1 |
8.2.RC1 |
|
|
依赖组件 |
HDK（NPU固件&驱动） |
7.5.0.109.220-24.1.RC3.10 |
7.5.0.5.220-24.1.0.3 |
|
K8s |
1.28 |
1.28 |
|
|
Volcano |
1.16.8 |
1.16.8 |
|
|
ModelArts Device-Plugin |
7.2.2-20250825200009.aarch64 |
7.2.2-20250825200009.aarch64 |
|
|
KubeInfer（modelarts-infers-operator） |
1.5.1.20250808112402 |
1.5.1.20250808112402 |
|
|
CES-Agent |
2.7.6.6 |
2.7.6.6 |
获取部署版本包
- 从Support-E下载表1中对应版本的解决方案部署版本包，部署版本包名称为：AscendCloud-Solution-6.5.907-${timestamp}.zip。
- 将部署配套文件上传至存储配置中的挂载目录，例如：/mnt/deepseek/deploy。
AscendCloud-Solution-6.5.907-${timestamp}/ ├── llm_infer/ │ └── deploy/ # 推理部署配套文件，上传至共享盘并挂载 │ ├── plugin/ # 插件部署文件 │ │ ├──volcano/ # volcano部署文件 │ │ │ ├──templates/ │ │ │ └──...... │ │ ├──ma-dp-templates.yaml # DevicePlugin部署文件 │ │ └──kubeinfer-crd.yaml # KubeInfer部署文件 │ ├── *.sh # 推理部署依赖脚本 │ └── *.py # 推理部署依赖脚本 - 执行如下命令给予脚本执行权限
dos2unix /mnt/deepseek/deploy/* chmod -R 750 /mnt/deepseek/deploy/
|
组件 |
镜像地址 |
功能说明 |
|---|---|---|
|
推理基础镜像（Snt9b23） |
swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b23-20250729103313-3a25129 |
昇腾云版本推理基础镜像，基于该基础镜像加上昇腾云版本包制作最终使用的推理镜像。 |
|
推理基础镜像（Snt9b） |
swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b-20250729103313-3a25129 |
|
|
Volcano |
swr.cn-east-4.myhuaweicloud.com/hwofficial/volcano-admission:1.16.8 swr.cn-east-4.myhuaweicloud.com/hwofficial/volcano-controllers:1.16.8 swr.cn-east-4.myhuaweicloud.com/hwofficial/volcano-scheduler:1.16.8 |
工作负载调度引擎 |
|
ModelArts Device-Plugin |
swr.cn-east-4.myhuaweicloud.com/modelarts-rse/modelarts-device-plugin:7.2.2-20250825200009.aarch64 |
NPU设备管理插件 |
|
KubeInfer |
swr.cn-east-4.myhuaweicloud.com/atelier/modelarts-infers-operator:1.5.1.20250808112402 |
K8s CRD插件，即KubeInfer，用于部署推理服务 |
