文档首页/
AI开发平台ModelArts/
最佳实践/
DeepSeek基于Lite Server&Cluster推理/
DeepSeek模型基于ModelArts Lite Cluster适配NPU的PD分离推理解决方案/
特性补充说明/
推理部署端口规划与冲突操作指导
更新时间：2025-09-08 GMT+08:00
推理部署端口规划与冲突操作指导
|
角色 |
端口 |
说明 |
|
|---|---|---|---|
|
Scheduler |
Proxy |
9000 |
PD分离部署下实例对外的出口端口。 |
|
ApiServer |
9001~90xx |
为了支持高并发，scheduler下会启动多个ApiServer。 默认Snt9b23资源下16个端口，即16个进程，Snt9b资源下8个端口，即8个进程。 |
|
|
Prefill |
8091~809x |
每个prefill一个端口，即第一个prefill端口为8091，第二个prefill端口为8092，以此类推，XP1D部署下有X个prefill实例，X个端口。 |
|
|
Decode |
Proxy |
8090 |
decode的通信端口。 |
|
ApiServer |
9901~9932 |
为了支持高并发，decode下会启动多个ApiServer，默认有32个端口，即32个进程。 |
|
|
zmq通信 |
23000~25000 |
内部RPC通信端口。 |
|
说明：
- 上述规划的端口用于PD分离部署下启动各进程使用，一旦出现端口被占用会导致部署失败。
- 除了上述端口外，还规划了用于HCCL通信的端口，默认为“64000~64015“，用于KV cache通信的Device侧网卡端口16666，一旦出现端口被占用也会导致部署失败。
- vLLM框架还定义了VLLM_PORT环境变量，默认使用端口5678，如果被占用则递增，如果未指定则随机。
- PD分离部署会依赖ray，ray默认使用6379端口。
- 当因端口占用导致部署失败时您可以通过下述命令查找占用端口的进程，停掉对应的进程，然后重新部署。
netstat -ntulp | grep ${端口号}
父主题： 特性补充说明
