更新时间:2026-06-01 GMT+08:00
Mooncake
简介说明
Mooncake 是一款开源的高性能 LLM 推理增强系统。它通过对 KVCache 进行全局池化管理与跨节点复用, 可以显著降低重复计算开销,大幅提升超长上下文场景下的推理吞吐量与首字响应速度。
更多内容请参见:开源社区地址。
约束与限制
- 仅支持 ARM64(AArch64)指令集架构的操作系统。
- 支持在ModelArts专属资源池按照默认配置进行安装。
- Mooncake 采用分布式架构,生产环境集群规模最低要求为3节点。
安装插件
在资源池中安装指定插件。
- 登录ModelArts管理控制台,在左侧菜单栏中选择“资源管理 > 专属算力资源 > 资源池”(旧版控制台:“资源管理 > 专属资源池”)。
- 单击资源池名称,进入资源池详情页。
- 在资源池详情页,切换到“插件”页签。
- 在未安装插件列表中,选择待安装的插件,单击“安装”。
- 阅读使用说明,勾选“我已阅读并知晓上述使用说明”。
- 单击“确定”。
- 安装完成后可在资源池详情页查看已安装插件进行确认。
组件说明
| 容器组件 | 说明 | 资源类型 |
|---|---|---|
| mooncake-master | 负责集群KVCache元数据管理。 | Deployment |
| etcd | 负责数据存储功能及master选主。 | StatefulSet |
| etcd-headless | 各个etcd实例内部通信使用。 | Service |
| etcd | etcd对外暴露端口提供使用。 | Service |
| mooncake-master | mooncake-master对外暴露端口提供使用。 | Service |
版本
| 插件版本 | 更新特性 |
|---|---|
| 1.0.0 | 支持在安装。 |
父主题: 管理专属资源池插件