本文导读

展开导读

文档首页/ 云容器引擎 CCE/ 用户指南/ 调度/ GPU调度/ CCE AI套件（NVIDIA GPU）插件使用DCGM-Exporter监控GPU指标

CCE AI套件（NVIDIA GPU）插件使用DCGM-Exporter监控GPU指标

更新时间：2025-02-18 GMT+08:00

对运维人员来说，实现对Kubernetes的大规模GPU设备可监测能力至关重要。通过监测GPU相关指标能够了解整个集群的GPU使用情况、健康状态、工作负载性能等，从而实现对异常问题的快速诊断、优化GPU资源的分配、提升资源利用率等。除运维人员以外，其他人员（例如数据科学家、AI算法工程师等）也能通过相关监控指标了解业务的GPU使用情况，以便进行容量规划和任务调度。

新一代NVIDIA支持使用数据中心GPU管理器（DCGM）来管理大规模集群中的GPU。CCE AI套件（NVIDIA GPU）插件（版本2.7.32及以上）基于NVIDIA DCGM构建，提供了更强大的GPU监控功能。DCGM提供了种类丰富的GPU监控指标，功能特性如下：

GPU行为监控
GPU配置管理
GPU Policy管理
GPU健康诊断
GPU级别统计和线程级别统计
NVSwitch配置和监控

本文基于CCE云原生监控插件和DCGM Exporter实现丰富的GPU观测场景，常用指标请参见GPU监控指标说明。关于DCGM-Exporter的更多信息，请参见DCGM-Exporter。

前提条件

集群中已有正常运行的NVIDIA GPU节点。

步骤一：启用DCGM-Exporter组件

登录CCE控制台，单击集群名称进入集群，在左侧导航栏中选择“插件中心”，在右侧找到CCE AI套件（NVIDIA GPU）插件，单击安装。
选择“启用dcgm-exporter组件进行DCGM指标观测”，开启后将以DaemonSet形式在GPU节点上部署DCGM-Exporter组件。

须知：

DCGM-Exporter组件在CCE AI套件（NVIDIA GPU）插件2.1.24、2.7.40及以上版本集成，其他版本不支持。

启用DCGM-Exporter组件后，采集的GPU监控数据如需上报AOM服务，请在云原生监控插件中开启“上报至AOM服务”开关。对于上报至AOM服务的GPU指标属于自定义指标，将进行按需收费，详情请参见价格详情。
设置插件支持的其他参数配置，单击“安装”。参数配置详情请参见CCE AI套件（NVIDIA GPU）。

步骤二：采集DCGM指标信息

须知：

默认情况下，DCGM-Exporter暴露的指标不会被Prometheus采集和上报。在使用Prometheus或Grafana查看指标时，需要先开启DCGM-Exporter对应的ServiceMonitor。

在云原生监控插件（kube-prometheus-stack）3.12.0及以上版本已预置了DCGM-Exporter对应的ServiceMonitor，进入配置中心启用即可。

登录CCE控制台，单击集群名称进入集群。
在左侧导航栏中选择“插件中心”，安装云原生监控插件，开启“监控数据上报至AOM服务”，并选择“指标上报的AOM实例”。其余配置详情请参见云原生监控插件。
在左侧导航栏中选择“配置中心”，切换至“监控运维配置”页签。
在“采集配置”中找到“ServiceMonitor”，单击“管理”。
搜索DCGM-Exporter组件的“ServiceMonitor”并开启。

步骤三：在AOM中查看DCGM指标信息

进入AOM管理页面，在实例列表中选择所上报的AOM实例。
进入“指标管理”，查看DCGM指标。

步骤四：使用Grafana查看DCGM指标信息

在左侧导航栏中选择“插件中心”，安装Grafana，并开启“数据源对接AOM”，选择AOM实例。
进入AOM管理页面，在实例列表中选择所上报的AOM实例。
在“设置”中的“Grafana数据源配置信息”获取AOM地址、用户名和密码。如果该AOM实例还未生成“Grafana数据源配置信息”，请在“调用凭证”中单击“创建AccessCode”，生成对应的Grafana数据源配置信息。
访问Grafana，并在Grafana中添加Prometheus数据源。
配置AOM信息，注意开启“Basic auth”以及“Skip TLS Verify”开关。
导入NVIDIA DCGM Exporter Dashboard。NVIDIA提供了NVIDIA DCGM Exporter Dashboard来展示DCGM相关指标信息。关于在Grafana导入Dashboard的方法，请参见Manage dashboards。
查看刚刚导入的面板。

附录：DCGM-Exporter组件故障排查

运行状态检查

在CCE AI套件（NVIDIA GPU）插件页面检查Pod状态为“运行中”。
查看Pod日志，确认HTTP服务器开始监听。
在集群上使用curl命令访问DCGM-Exporter，确认数据正常获取。
1. 检查DCGM-Exporter组件Pod IP：
```
kubectl get po -A -owide | grep dcgm
```
2. 使用curl命令检查数据，其中10.1.1.15为上一步查询的Pod IP：
```
curl 10.1.1.15:9400/metrics | head
```

意见反馈

文档内容是否对您有帮助？

有帮助没帮助

提供反馈

提交成功！非常感谢您的反馈，我们会继续努力做到更好！

系统繁忙，请稍后重试

在使用文档中是否遇到以下问题

内容与产品页面不一致

内容不易理解

缺失示例代码

步骤不可操作

搜不到想要的内容

缺少最佳实践

意见反馈（选填）

0/500

请至少选择一项反馈信息并填写问题反馈

字符长度不能超过500

直接提交取消