文档首页/
AI开发平台ModelArts/
最佳实践/
DeepSeek基于Lite Server&Cluster推理/
Qwen3模型基于ModelArts Lite Cluster适配Snt9b23的混部推理解决方案/
基于KubeInfer的推理部署/
部署准备/
KubeInfer部署方案介绍
更新时间：2025-09-08 GMT+08:00
KubeInfer部署方案介绍
图1 XP1D KubeInfer部署方案
KubeInfer是由ModelArts提供的一种K8s的CRD扩展插件，它通过定义instance概念，把合作干一件事的Pod统一在一个instance下，按组实现扩缩容、故障恢复、组内通信等的管理，同时instance下可按不同的角色进行独立配置。
以2P1D分离部署为例，通过一组3个role来定义P和D各子实例，其中每个P子实例对应一个role，定义在role0~1，role2定义一个D实例。
在Snt9b23资源下其中P的每个role对应1个Pod，D的role对应2个Pod，每个Pod部署在一台Snt9b23资源上，即需要4台Snt9b23资源。
在Snt9b资源下其中P的每个role对应2个Pod，D的role对应4个Pod，每个Pod部署在一台Snt9b资源上，即需要8台Snt9b资源。
父主题： 部署准备
