版本与部署依赖说明
版本与部署依赖配套关系
本解决方案所涉及的各组件及其版本关系见表1,其中ModelArts产品其他依赖关系见ModelArts版本配套关系表。
 
   如果您遇到需要硬件升级或硬件故障等问题,可以联系华为工程师处理。
| 
        类别  | 
      
        组件  | 
      
        Snt9b23配套关系  | 
      
        Snt9b配套关系  | 
     
|---|---|---|---|
| 
        解决方案  | 
      
        部署版本包  | 
      
        6.5.908-Compello  | 
      
        6.5.908-Compello  | 
     
| 
        昇腾云框架  | 
      
        昇腾云版本包(DeepSeek)  | 
      
        6.5.201  | 
      
        6.5.201  | 
     
| 
        昇腾云版本包(Qwen)  | 
      
        6.5.T908.1  | 
      
        6.5.T908.1  | 
     |
| 
        昇腾云基础镜像中CANN版本(DeepSeek)  | 
      
        8.2.RC1  | 
      
        8.2.RC1  | 
     |
| 
        昇腾云基础镜像中CANN版本(Qwen)  | 
      
        8.1.RC2  | 
      
        -  | 
     |
| 
        依赖组件  | 
      
        HDK(NPU固件&驱动)(DeepSeek)  | 
      
        7.7.0.9.220-25.2.1  | 
      
        7.5.0.5.220-24.1.0.3  | 
     
| 
        CCE  | 
      
        1.31  | 
      
        1.31  | 
     |
| 
        Volcano  | 
      
        1.18.3  | 
      
        1.18.3  | 
     |
| 
        ModelArts Device-Plugin  | 
      
        7.2.2-20250904170414  | 
      
        7.2.2-20250904170414  | 
     |
| 
        KubeInfer(modelarts-infers-operator)  | 
      
        1.5.1.20250830170702  | 
      
        1.5.1.20250830170702  | 
     |
| 
        CES-Agent  | 
      
        2.8.2.1  | 
      
        2.8.2.1  | 
     |
| 
        os-node-agent  | 
      
        7.2.2-20250812115143  | 
      
        7.2.2-20250812115143  | 
     
获取部署版本包
- 从Support-E下载表1中对应版本的解决方案部署版本包,部署版本包名称为:AscendCloud-Solution-6.5.908-${timestamp}.zip。
 - 将部署配套文件上传至存储配置中的挂载目录,例如:/mnt/deepseek/deploy。
    
AscendCloud-Solution-6.5.908-${timestamp}/ ├── llm_infer/ │ └── deploy/ # 推理部署配套文件,上传至共享盘并挂载 │ ├── plugin/ # 插件部署文件 │ │ └──kubeinfer-crd.yaml # KubeInfer部署文件 │ ├── *.sh # 推理部署依赖脚本 │ └── *.py # 推理部署依赖脚本 - 执行如下命令给予脚本执行权限
    
dos2unix /mnt/deepseek/deploy/* chmod -R 750 /mnt/deepseek/deploy/
 
组件说明
部署过程中涉及的主要组件及其镜像地址和功能说明如表2所示。
| 
       组件  | 
     
       镜像地址  | 
     
       功能说明  | 
    
|---|---|---|
| 
       推理基础镜像(Snt9b23)  | 
     
       swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b23-20250729103313-3a25129  | 
     
       昇腾云版本推理基础镜像,基于该基础镜像加上昇腾云版本包(DeepSeek)制作最终使用的推理镜像。  | 
    
| 
       推理基础镜像(Snt9b)  | 
     
       swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.2.rc1-py_3.11-hce_2.0.2503-aarch64-snt9b-20250729103313-3a25129  | 
    |
| 
       推理基础镜像(Snt9b23)  | 
     
       swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_ascend:pytorch_2.5.1-cann_8.1.rc2-py_3.11-hce_2.0.2503-aarch64-snt9b23-20250731145156-e56e6f2  | 
     
       昇腾云版本推理基础镜像,基于该基础镜像加上昇腾云版本包(Qwen)制作最终使用的推理镜像。  | 
    
| 
       KubeInfer  | 
     
       swr.cn-east-4.myhuaweicloud.com/atelier/modelarts-infers-operator:1.5.1.20250830170702  | 
     
       K8s CRD插件,即KubeInfer,用于部署推理服务。  |