部署依赖包版本说明

获取部署版本包

1. 获取推理部署版本包。

   从Support-E中查找ModelArts 6.5.T906-Compello版本，下载ModelArts 6.5.T906-Compello版本包，部署版本包名称为：AscendCloud-Solution-6.5.906-{timestamp}.zip。

2. 将部署配套文件上传至存储配置中的挂载目录，例如：/mnt/deepseek/deploy。

   AscendCloud-Solution-6.5.906-{timestamp}/
   ├── llm_infer/
   │    └── deploy/                          # 推理部署配套文件，上传至共享盘并挂载
   │          ├── ray_log_rotate/            # Ray日志滚动配置文件
   │          ├── plugin/                    # 插件部署文件
   │          │    ├──volcano/              # volcano部署文件
   │          │    │   ├──templates/
   │          │    │   └──......
   │          │    ├──ma-dp-templates.yaml  # DevicePlugin部署文件
   │          │    └──kubeinfer-crd.yaml    # KubeInfer部署文件
   │          ├── *.sh                       # 推理部署依赖脚本
   │          └── *.py                       # 推理部署依赖脚本

3. 执行如下命令给予脚本执行权限

   dos2unix /mnt/deepseek/deploy/*
   dos2unix /mnt/deepseek/deploy/ray_log_rotate/*
   chmod -R 750 /mnt/deepseek/deploy/

组件说明

部署过程中涉及的主要组件及其版本和功能说明如表1所示，部署依赖包的获取方式如表2所示。其余在Lite Server资源开通后自动安装的组件配套关系见ModelArts版本配套关系表。