ModelArts LWS
简介
ModelArts LWS(LeaderWorkerSet)是一款开源大模型推理模型部署插件。它将一组Pod作为一个整体进行部署,可用于承载分布式推理任务,提供灵活的升级和恢复策略。
约束限制
升级过程中将短暂影响业务创建功能 (预计恢复极快),请尽量避开业务高峰期操作。
安装插件
创建专属资源池“作业类型”选择“模型部署”时,自动安装该插件。
参数说明
插件安装时根据集群节点数自动选择规格,所有规格均自动开启强反亲和:
| 规格 | 副本数 | CPU(申请/限制) | 内存(申请/限制) | 说明 |
|---|---|---|---|---|
| 小规格 | 2 | 500m/2000m | 500Mi/2000Mi | 适合小规模集群(节点数 ≤ 50)。 |
| 中规格 | 2 | 1500m/3000m | 2500Mi/4000Mi | 适合中规模集群(50 < 节点数 <= 200) |
| 大规格 | 2 | 5500m/7000m | 12500Mi/15000Mi | 适合大规模集群(节点数 > 200)。 |
| 自定义规格 | 用户自定义 | 用户自定义 | 用户自定义 | - |
组件说明
| 容器组件 | 说明 | 资源类型 |
|---|---|---|
| modelarts-lws-controller-manager | LeaderWorkerSet是一款开源大模型推理模型部署插件。它将一组Pod 作为一个整体进行部署,可用于承载分布式推理任务,提供灵活的升级和恢复策略。 | Deployment |
版本记录
| 插件版本 | 更新特性 |
|---|---|
| 0.7.0 | 支持在上使用ModelArts LWS插件。 |