更新时间:2025-09-08 GMT+08:00
分享

部署依赖包版本说明

获取部署版本包

  1. 获取推理部署版本包

    Support-E下载ModelArts 6.5.T906-Compello版本包,部署版本包名称为:AscendCloud-Solution-6.5.906-{timestamp}.zip。

  2. 将部署配套文件上传至存储配置中的挂载目录,例如:/mnt/deepseek/deploy。

    AscendCloud-Solution-6.5.906-{timestamp}/
    ├── llm_infer/
    │    └── deploy/                          # 推理部署配套文件,上传至共享盘并挂载
    │          ├── ray_log_rotate/            # Ray日志滚动配置文件
    │          ├── plugin/                    # 插件部署文件
    │          │    └──kubeinfer-crd.yaml    # KubeInfer部署文件
    │          ├── *.sh                       # 推理部署依赖脚本
    │          └── *.py                       # 推理部署依赖脚本

  3. 执行如下命令给予脚本执行权限

    dos2unix /mnt/deepseek/deploy/*
    dos2unix /mnt/deepseek/deploy/ray_log_rotate/*
    chmod -R 750 /mnt/deepseek/deploy/

组件说明

部署过程中涉及的主要组件及其版本和功能说明如表1所示。其余在Lite Cluster资源开通后自动安装的组件配套关系见ModelArts版本配套关系表

表1 组件版本与镜像

组件

版本号

镜像地址

功能说明

modelarts-infers-operator

1.5.1.20250808112402

swr.cn-east-4.myhuaweicloud.com/atelier/modelarts-infers-operator:1.5.1.20250808112402

K8s CRD插件,即KubeInfer,用于部署推理服务

相关文档