更新时间:2026-06-01 GMT+08:00
分享

Mooncake

简介说明

Mooncake 是一款开源的高性能 LLM 推理增强系统。它通过对 KVCache 进行全局池化管理与跨节点复用, 可以显著降低重复计算开销,大幅提升超长上下文场景下的推理吞吐量与首字响应速度。

更多内容请参见:开源社区地址

约束与限制

  1. 仅支持 ARM64(AArch64)指令集架构的操作系统。
  2. 支持在ModelArts专属资源池按照默认配置进行安装。
  3. Mooncake 采用分布式架构,生产环境集群规模最低要求为3节点。

安装插件

在资源池中安装指定插件。

  1. 登录ModelArts管理控制台,在左侧菜单栏中选择“资源管理 > 专属算力资源 > 资源池”(旧版控制台:“资源管理 > 专属资源池”)
  2. 单击资源池名称,进入资源池详情页。
  3. 在资源池详情页,切换到“插件”页签。
  4. 在未安装插件列表中,选择待安装的插件,单击“安装”
  5. 阅读使用说明,勾选“我已阅读并知晓上述使用说明”
  6. 单击“确定”
  7. 安装完成后可在资源池详情页查看已安装插件进行确认。

组件说明

容器组件

说明

资源类型

mooncake-master

负责集群KVCache元数据管理。

Deployment

etcd

负责数据存储功能及master选主。

StatefulSet

etcd-headless

各个etcd实例内部通信使用。

Service

etcd

etcd对外暴露端口提供使用。

Service

mooncake-master

mooncake-master对外暴露端口提供使用。

Service

版本

插件版本

更新特性

1.0.0

支持在专属资源池安装。

相关文档