更新时间:2025-09-08 GMT+08:00
分享

在Prometheus查看vLLM业务指标

  1. 支持的指标见vllm-0.9.0-Metrics(目前使用的vllm版本是0.9.0),可以调用vllm的指标API查看业务指标:http://ip:port/metrics。
    1. 在PD分离部署下,当前仅支持独立调用P或D实例获取指标。
    2. 多机部署或单机部署下,当前支持的是vllm原生的全量指标。
  2. 如果客户想对接Prometheus和Grafana,可参考vllm官方指导文档Prometheus and Grafana — vLLM

相关文档