版本与部署依赖说明
版本与部署依赖配套关系
本解决方案所涉及的各组件及其版本关系见表1，其中ModelArts产品其他依赖关系见ModelArts版本配套关系表。
如果您遇到需要硬件升级或硬件故障等问题，可以联系华为工程师处理。
|
类别 |
组件 |
Snt9b23配套关系 |
Snt9b配套关系 |
|---|---|---|---|
|
解决方案 |
部署版本包 |
6.5.910-Compello |
6.5.910-Compello |
|
昇腾云框架 |
昇腾云版本包（DeepSeek） |
6.5.203.1 |
6.5.203.1 |
|
昇腾云版本包（Qwen） |
6.5.T908.2 |
- |
|
|
昇腾云基础镜像中CANN版本（DeepSeek） |
8.2.RC2 |
8.2.RC2 |
|
|
昇腾云基础镜像中CANN版本（Qwen） |
8.3 |
- |
|
|
依赖组件 |
HDK（NPU固件&驱动） |
7.7.0.9.220-25.2.1 |
7.5.0.5.220-24.1.0.3 |
|
K8s |
1.31 |
1.31 |
|
|
Helm |
3.18.5 |
3.18.5 |
|
|
Volcano |
1.18.15 |
1.18.15 |
|
|
ModelArts Device-Plugin |
7.3.0-20251010094010 |
7.3.0-20251010094010 |
|
|
KubeInfer（modelarts-infers-operator） |
1.5.1.20250922143736 |
1.5.1.20250922143736 |
|
|
CES-Agent |
2.8.2.2 |
2.8.2.2 |
获取部署版本包
- 从Support-E下载表1中对应版本的解决方案部署版本包，部署版本包名称为：AscendCloud-Solution-6.5.910-${timestamp}.zip。
- 将部署配套文件上传至存储配置中的挂载目录，例如：/mnt/deepseek/deploy。
AscendCloud-Solution-6.5.910-${timestamp}/ ├── llm_infer/ │ └── deploy/ # 推理部署配套文件，上传至共享盘并挂载 │ ├── plugin/ # 插件部署文件 │ │ ├──volcano/ # Volcano部署文件 │ │ │ ├──templates/ │ │ │ └──...... │ │ ├──modelarts-device-plugin/ # MADP部署文件 │ │ │ ├──templates/ │ │ │ └──...... │ │ └──modelarts-infers-operator/ # KubeInfer部署文件 │ │ ├──templates/ │ │ └──...... │ ├── *.sh # 推理部署依赖脚本 │ └── *.py # 推理部署依赖脚本 - 执行如下命令给予脚本执行权限
dos2unix /mnt/deepseek/deploy/* chmod -R 750 /mnt/deepseek/deploy/
组件说明
部署过程中涉及的主要组件及其镜像地址和功能说明如表2所示，部署依赖包的获取方式如表3所示。
|
组件 |
镜像地址 |
功能说明 |
|---|---|---|
|
推理基础镜像（Snt9b23） |
swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.2.rc2-py_3.11-hce_2.0.2506-aarch64-snt9b23-20250924142716-99ec71c |
昇腾云版本推理基础镜像，基于该基础镜像加上昇腾云版本包（DeepSeek）制作最终使用的推理镜像。 |
|
推理基础镜像（Snt9b） |
swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.2.rc2-py_3.11-hce_2.0.2506-aarch64-snt9b-20250924142716-99ec71c |
|
|
推理基础镜像（Snt9b23） |
swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.3.t5-py_3.11-hce_2.0.2506-aarch64-snt9b23-subpkgs-20251020201839-8fd6786 |
昇腾云版本推理基础镜像，基于该基础镜像加上昇腾云版本包（Qwen）制作最终使用的推理镜像。 |
|
Volcano |
swr.cn-east-4.myhuaweicloud.com/hwofficial/volcano-admission:1.18.15 swr.cn-east-4.myhuaweicloud.com/hwofficial/volcano-controllers:1.18.15 swr.cn-east-4.myhuaweicloud.com/hwofficial/volcano-scheduler:1.18.15 |
工作负载调度引擎 |
|
ModelArts Device-Plugin |
swr.cn-east-4.myhuaweicloud.com/modelarts-rse/modelarts-device-plugin:7.3.0-20251010094010 |
NPU设备管理插件 |
|
KubeInfer |
swr.cn-east-4.myhuaweicloud.com/atelier/modelarts-infers-operator:1.5.1.20250922143736 |
K8s CRD插件，即KubeInfer，用于部署推理服务 |
