监控GPU资源 本章介绍如何在U CS 控制台界面查看GPU资源的全局监控指标。 前提条件 完成GPU资源准备。 当前本地集群已创建GPU资源。 当前本地集群开启了监控能力。 GPU监控 登录UCS控制台，在左侧导航栏选择“容器智能分析”。 选择对应的集群并开启监控，详细操作请参照集群开启监控。

查看更多 →

频率 cce_gpu_clock GPU卡 GPU时钟频率 cce_gpu_memory_clock GPU卡 GPU显存频率 cce_gpu_graphics_clock GPU卡 GPU图形处理器频率 cce_gpu_video_clock GPU卡 GPU视频处理器频率 物理状态数据

查看更多 →

云手机 服务器 1分钟 gpu_usage_temperature GPU温度 该指标用于统计测量对象当前的GPU温度。 > 0 ℃ 云手机服务器 1分钟 gpu_usage_status GPU状态 该指标用于统计测量对象当前的GPU状态。 - 云手机服务器 1分钟 gpu_mem_busy_percent

查看更多 →

≥0 NA NA NA GPU温度 DCGM_FI_DEV_GPU_TEMP 表示GPU温度。 摄氏度（℃） 自然数 NA NA NA GPU功率 DCGM_FI_DEV_POWER_USAGE 表示GPU功率。 瓦特（W） >0 NA NA NA GPU显存温度 DCGM_FI_DEV_MEMORY_TEMP

查看更多 →

取值范围 单位 主机指标 CPU aom_node_cpu_limit_core cpuCoreLimit CPU内核总量 该指标用于统计测量对象申请的CPU核总量。 ≥1 核（Core） aom_node_cpu_used_core cpuCoreUsed CPU内核占用量 该指标用于统计测量对象已经使用的CPU核个数。

查看更多 →

指标含义 取值范围 单位 CPU内核总量（aom_node_cpu_limit_core） 该指标用于统计测量对象申请的CPU核总量。 ≥1 核（Core） CPU内核占用（aom_node_cpu_used_core） 该指标用于统计测量对象已经使用的CPU核个数。 ≥0 核（Core）

查看更多 →

关监控项、磁盘相关监控项、磁盘I/O相关监控项、文件系统类相关监控项、网卡类相关监控项、NTP类相关监控项、TCP连接数类相关监控、GPU相关监控项、NPU相关监控项。 安装Agent后，对于不同的操作系统、不同的 弹性云服务器 类型，您可以查看不同类型的操作系统监控指标。指标采集周期是1分钟。

查看更多 →

样本丢弃率/失败率/重试率 入队失败重试率 GPU视图 集群 集群-显存使用率 集群-算力使用率 节点-显存使用量 节点-显存使用率 节点-算力使用率 GPU卡-显存使用量 GPU卡-算力使用率 GPU卡-温度 GPU卡-显存频率 GPU卡-PCle带宽 XGPU视图 集群 集群--XGPU设备显存使用率

查看更多 →

DCGM_FI_DEV_GPU_TEMP 表示GPU温度。 摄氏度（℃） 自然数 NA NA NA GPU功率 DCGM_FI_DEV_POWER_USAGE 表示GPU功率。 瓦特（W） >0 NA NA NA GPU显存温度 DCGM_FI_DEV_MEMORY_TEMP 表示显存温度。 摄氏度（℃）

查看更多 →

计算公式：节点上容器显存使用总量/节点上显存总量 GPU卡-显存使用量 字节 显卡上容器显存使用总量 GPU卡-算力使用率 百分比 每张GPU卡的算力使用率 计算公式：显卡上容器算力使用总量/显卡的算力总量 GPU卡-温度 摄氏度 每张GPU卡的温度 GPU-显存频率 赫兹 每张GPU卡的显存频率 GPU卡-PCle带宽

查看更多 →

使用dcgm-exporter监控GPU指标 应用场景 集群中包含GPU节点时，需要了解GPU应用使用节点GPU资源的情况，例如GPU利用率、显存使用量、GPU运行的温度、GPU的功率等。在获取GPU监控指标后，用户可根据应用的GPU指标配置弹性伸缩策略，或者根据GPU指标设置告警规则。本

查看更多 →

使用CES监控Lite Server资源 场景描述 Lite Server的监控能力依赖于CES云监控服务。本文主要介绍如何对接CES云监控服务，对Lite Server上的资源和事件进行监控。 监控方案介绍 监控概述请参考BMS官方文档。除文档所列支持的镜像之外，目前还支持Ubuntu20

查看更多 →

支持GPU监控的环境约束 仅支持Linux操作系统，且仅部分Linux公共镜像版本支持GPU监控，详情见：Agent支持的系统有哪些？ 支持的规格：G6v、G6、P2s、P2v、P2vs、G5、Pi2、Pi1、P1系列的ECS，P、Pi、G、KP系列的BMS。 已安装lspci工

查看更多 →

平台上的代码经过修改优化、训练参数有过变更。 训练的GPU硬件工作出现异常。 处理方法 请您对作业代码进行排查分析，确认是否对训练代码和参数进行过修改。 检查资源分配情况（cpu/mem/gpu/snt9/infiniband）是否符合预期。 通过CloudShell登录到Linux工作页面，检查GPU工作情况： 通

查看更多 →

告警阈值。 EntityThresholdCurrent 当前温度值。 EntityTrapFaultID 告警原因ID。 对系统的影响 温度过高，单板难以承受。如果持续升温至危险温度，单板会被下电，引起业务中断。 可能原因 温度超出温度告警阈值引发的告警，可能是风扇故障引起。 处理步骤 执行命令display

查看更多 →

aom_node_cpu_limit_core CPU内核总量 该指标用于统计测量对象申请的CPU核总量。 ≥1 核（Core） aom_node_cpu_used_core CPU内核占用 该指标用于统计测量对象已经使用的CPU核个数。 ≥0 核（Core） aom_node_cpu_usage

查看更多 →

检测：通过AOM监控CCE节点的CPU/内存/磁盘容量/磁盘IOPS/GPU/GPU缓存使用率。 恢复： 根据业务情况，手工变更节点规格或增加节点数量。 CCE工作负载的CPU /内存/GPU/GPU缓存使用率过高 检测：通过AOM监控CCE工作负载的CPU/内存/GPU/GPU缓存使用率。 恢复： 根据业务情况，

查看更多 →

failed_times Number 模型实例调用失败次数。 cpu_core_usage Float 已使用CPU核数。 cpu_core_total Float 总CPU核数。 cpu_memory_usage Integer 已使用内存，单位MB。 cpu_memory_total Integer

查看更多 →

Workspace支持的CES操作系统监控指标（安装Agent） 功能说明 通过在云桌面中安装Agent插件，可以为用户提供服务器的系统级、主动式、细颗粒度监控服务。本节定义了云桌面上报云监控的操作系统监控指标。 操作系统监控目前支持的监控指标GPU相关监控项。 操作系统监控目前支持的监控指标有：CPU相关监控

查看更多 →

指标含义 取值范围 单位 CPU ma_container_cpu_util CPU使用率 该指标用于统计测量对象的CPU使用率。 0～100 百分比（%） ma_container_cpu_used_core CPU内核占用量 该指标用于统计测量对象已经使用的CPU核个数 ≥0 核（Core）

查看更多 →

监控弹性 云服务器 监控是保持弹性云服务器可靠性、可用性和性能的重要部分，通过监控，用户可以观察弹性云服务器资源。为使用户更好地掌握自己的弹性云服务器运行状态，云服务平台提供了云监控。您可以使用该服务监控您的弹性云服务器，执行自动实时监控、告警和通知操作，帮助您更好地了解弹性云服务器的各项性能指标。

查看更多 →