在AOM控制台查看ModelArts所有监控指标
ModelArts会定期收集资源池中各节点的关键资源（GPU、NPU、CPU、Memory等）的使用情况以及开发环境、训练作业、推理服务的关键资源的使用情况，并上报到AOM，用户可直接在AOM上查看，详细步骤如下：
- 登录控制台，搜索AOM，进入“应用运维管理 AOM”控制台。
- 单击“监控 > 指标浏览”，进入“指标浏览”“页面”，单击“添加指标查询”。
- 添加指标查询信息，单击确定。
- 添加方式：选择“按指标维度添加”。
- 指标名称：在右侧下拉框中选择“全量指标”，然后选择想要查询的指标，参考表1、表2、表3
- 指标维度：填写过滤该指标的标签，请参考表4的Label名字栏。样例如下：
- 即可出现指标信息。
表1 容器级别的指标 分类
名称
指标
指标含义
单位
取值范围
CPU
CPU使用率
ma_container_cpu_util
该指标用于统计测量对象的CPU使用率。
百分比（Percent）
0～100%
CPU内核占用量
ma_container_cpu_used_core
该指标用于统计测量对象已经使用的CPU核个数
核（Core）
≥0
CPU内核总量
ma_container_cpu_limit_core
该指标用于统计测量对象申请的CPU核总量。
核（Core）
≥1
内存
内存总量
ma_container_memory_capacity_megabytes
该指标用于统计测量对象申请的物理内存总量。
兆字节（Megabytes）
≥0
物理内存使用率
ma_container_memory_util
该指标用于统计测量对象已使用内存占申请物理内存总量的百分比。
百分比（Percent）
0～100%
物理内存使用量
ma_container_memory_used_megabytes
该指标用于统计测量对象实际已经使用的物理内存，对应container_memory_working_set_bytes当前内存工作集（working set）使用量。
工作区内存使用量=活跃的匿名页和缓存，以及file-baked页<=container_memory_usage_bytes。
兆字节（Megabytes）
≥0
存储
磁盘读取速率
ma_container_disk_read_kilobytes
该指标用于统计每秒从磁盘读出的数据量。
千字节/秒（Kilobytes/Second）
≥0
磁盘写入速率
ma_container_disk_write_kilobytes
该指标用于统计每秒写入磁盘的数据量。
千字节/秒（Kilobytes/Second）
≥0
GPU显存
显存容量
ma_container_gpu_mem_total_megabytes
该指标用于统计训练任务的显存容量。
兆字节（Megabytes）
>0
显存使用率
ma_container_gpu_mem_util
该指标用于统计测量对象已使用的显存占显存容量的百分比。
百分比（Percent）
0～100%
显存使用量
ma_container_gpu_mem_used_megabytes
该指标用于统计测量对象已使用的显存。
兆字节（Megabytes）
≥0
GPU
GPU使用率
ma_container_gpu_util
该指标用于统计测量对象的GPU使用率。
百分比（Percent）
0～100%
GPU内存带宽利用率
ma_container_gpu_mem_copy_util
表示内存带宽利用率。以Vnt1为例，其最大内存带宽为900 GB/sec，如果当前的内存带宽为450 GB/sec，则内存带宽利用率为50%。
百分比（Percent）
0～100%
GPU编码器利用率
ma_container_gpu_enc_util
表示编码器利用率
百分比（Percent）
%
GPU解码器利用率
ma_container_gpu_dec_util
表示解码器利用率
百分比（Percent）
%
GPU温度
DCGM_FI_DEV_GPU_TEMP
表示GPU温度。
摄氏度（℃）
自然数
GPU功率
DCGM_FI_DEV_POWER_USAGE
表示GPU功率。
瓦特（W）
>0
显存温度
DCGM_FI_DEV_MEMORY_TEMP
表示显存温度。
摄氏度（℃）
自然数
网络IO
下行Bps
ma_container_network_receive_bytes
该指标用于统计测试对象的入方向网络流速。
字节/秒（Bytes/Second）
≥0
下行Pps
ma_container_network_receive_packets
每秒网卡接收的数据包个数。
个/秒（Packets/Second）
≥0
下行错包率
ma_container_network_receive_error_packets
每秒网卡接收的错误包个数。
个/秒（Packets/Second）
≥0
上行Bps
ma_container_network_transmit_bytes
该指标用于统计测试对象的出方向网络流速。
字节/秒（Bytes/Second）
≥0
上行错包率
ma_container_network_transmit_error_packets
每秒网卡发送的错误包个数。
个/秒（Packets/Second）
≥0
上行Pps
ma_container_network_transmit_packets
每秒网卡发送的数据包个数。
个/秒（Packets/Second）
≥0
Notebook业务指标
Notebook cache目录大小
ma_container_notebook_cache_dir_size_bytes
GPU类型的Notebook会在“/cache”目录上挂载一块高速本地磁盘，该指标描述该目录的总大小。
字节（Bytes）
≥0
Notebook cache目录利用率
ma_container_notebook_cache_dir_util
GPU类型的Notebook会在“/cache”目录上挂载一块高速本地磁盘，该指标描述该目录的利用率。
百分比（Percent）
0～100%
表2 节点指标（仅专属池上会收集） 分类
名称
指标
指标含义
单位
取值范围
CPU
CPU内核总量
ma_node_cpu_limit_core
该指标用于统计测量对象申请的CPU核总量。
核（Core）
≥1
CPU内核占用
ma_node_cpu_used_core
该指标用于统计测量对象已经使用的CPU核数。
核（Core）
≥0
CPU使用率
ma_node_cpu_util
该指标用于统计测量对象的CPU使用率。
百分比（Percent）
0～100%
CPU IO等待时间
ma_node_cpu_iowait_counter
从系统启动开始累计到当前时刻，硬盘IO等待时间
jiffies
≥0
内存
物理内存使用率
ma_node_memory_util
该指标用于统计测量对象已使用内存占申请物理内存总量的百分比。
百分比（Percent）
0～100%
物理内存容量
ma_node_memory_total_megabytes
该指标用于统计测量申请的物理内存总量。
兆字节（Megabytes）
≥0
网络IO
下行Bps
ma_node_network_receive_rate_bytes_seconds
该指标用于统计测试对象的入方向网络流速。
字节/秒（Bytes/Second）
≥0
上行Bps
ma_node_network_transmit_rate_bytes_seconds
该指标用于统计测试对象的出方向网络流速。
字节/秒（Bytes/Second）
≥0
存储
磁盘读取速率
ma_node_disk_read_rate_kilobytes_seconds
该指标用于统计每秒从磁盘读出的数据量。只考虑被容器使用的数据盘。
千字节/秒（Kilobytes/Second）
≥0
磁盘写入速率
ma_node_disk_write_rate_kilobytes_seconds
该指标用于统计每秒写入磁盘的数据量。只考虑被容器使用的数据盘。
千字节/秒（Kilobytes/Second）
≥0
cache空间的总量
ma_node_cache_space_capacity_megabytes
该指标用于统计k8s空间的总容量。
兆字节（Megabytes）
≥0
cache空间的使用量
ma_node_cache_space_used_capacity_megabytes
该指标用于统计k8s空间的使用量。
兆字节（Megabytes）
≥0
容器空间的总量
ma_node_container_space_capacity_megabytes
该指标用于统计容器空间的总容量。
兆字节（Megabytes）
≥0
容器空间的使用量
ma_node_container_space_used_capacity_megabytes
该指标用于统计容器空间的使用量。
兆字节（Megabytes）
≥0
磁盘信息
ma_node_disk_info
该指标用于展示磁盘的基础信息
-
≥0
读取次数
ma_node_disk_reads_completed_total
成功完成的读取总次数
-
≥0
合并读取的次数
ma_node_disk_reads_merged_total
合并读取的次数
-
≥0
读取字节数
ma_node_disk_read_bytes_total
成功读取的总字节数
字节（Bytes）
≥0
读取花费秒数
ma_node_disk_read_time_seconds_total
所有读取所花费的总秒数
秒（Seconds）
≥0
写入次数
ma_node_disk_writes_completed_total
成功完成的写入总数
-
≥0
合并写入的次数
ma_node_disk_writes_merged_total
合并写入的次数
-
≥0
写入字节数
ma_node_disk_written_bytes_total
成功写入的总字节数
字节（Bytes）
≥0
写入花费秒数
ma_node_disk_write_time_seconds_total
所有写入操作花费的总秒数
秒（Seconds）
≥0
当前IO数量
ma_node_disk_io_now
当前正在进行的I/O数量
-
≥0
IO花费总秒数
ma_node_disk_io_time_seconds_total
执行I/O所花费的总秒数
秒（Seconds）
≥0
IO花费加权秒数
ma_node_disk_io_time_weighted_seconds_tota
执行I/O所花费的加权秒数
秒（Seconds）
≥0
GPU
GPU使用率
ma_node_gpu_util
该指标用于统计测量对象的GPU使用率。
百分比（Percent）
0～100%
显存容量
ma_node_gpu_mem_total_megabytes
该指标用于统计测量对象的显存容量。
兆字节（Megabytes）
>0
显存使用率
ma_node_gpu_mem_util
该指标用于统计测量对象已使用的显存占显存容量的百分比。
百分比（Percent）
0～100%
显存使用量
ma_node_gpu_mem_used_megabytes
该指标用于统计测量对象已使用的显存。
兆字节（Megabytes）
≥0
共享GPU任务运行数据
node_gpu_share_job_count
针对一个GPU卡，当前运行的共享资源使用的任务数量。
个
≥0
GPU温度
DCGM_FI_DEV_GPU_TEMP
表示GPU温度。
摄氏度（℃）
自然数
GPU功率
DCGM_FI_DEV_POWER_USAGE
表示GPU功率。
瓦特（W）
>0
显存温度
DCGM_FI_DEV_MEMORY_TEMP
表示显存温度。
摄氏度（℃）
自然数
infiniband或RoCE网络
网卡接收数据总量
ma_node_infiniband_port_received_data_bytes_total
The total number of data octets, divided by 4, (counting in double words, 32 bits), received on all VLs from the port.
(counting in double words, 32 bits
≥0
网卡发送数据总量
ma_node_infiniband_port_transmitted_data_bytes_total
The total number of data octets, divided by 4, (counting in double words, 32 bits), transmitted on all VLs from the port.
(counting in double words, 32 bits
≥0
NFS挂载状态
NFS检索文件属性操作拥塞时间
ma_node_mountstats_getattr_backlog_wait
Getattr is an NFS operation that retrieves the attributes of a file or directory, such as size, permissions, owner, etc. Backlog wait is the time that the NFS requests have to wait in the backlog queue before being sent to the NFS server. It indicates the congestion on the NFS client side. A high backlog wait can cause poor NFS performance and slow system response times.
ms
≥0
NFS检索文件属性操作往返时间
ma_node_mountstats_getattr_rtt
Getattr is an NFS operation that retrieves the attributes of a file or directory, such as size, permissions, owner, etc.
RTT stands for Round Trip Time and it is the time from when the kernel RPC client sends the RPC request to the time it receives the reply34. RTT includes network transit time and server execution time. RTT is a good measurement for NFS latency. A high RTT can indicate network or server issues.
ms
≥0
NFS检查文件权限操作拥塞时间
ma_node_mountstats_access_backlog_wait
Access is an NFS operation that checks the access permissions of a file or directory for a given user. Backlog wait is the time that the NFS requests have to wait in the backlog queue before being sent to the NFS server. It indicates the congestion on the NFS client side. A high backlog wait can cause poor NFS performance and slow system response times.
ms
≥0
NFS检查文件权限操作往返时间
ma_node_mountstats_access_rtt
Access is an NFS operation that checks the access permissions of a file or directory for a given user. RTT stands for Round Trip Time and it is the time from when the kernel RPC client sends the RPC request to the time it receives the reply34. RTT includes network transit time and server execution time. RTT is a good measurement for NFS latency. A high RTT can indicate network or server issues.
ms
≥0
NFS解析文件句柄操作拥塞时间
ma_node_mountstats_lookup_backlog_wait
Lookup is an NFS operation that resolves a file name in a directory to a file handle. Backlog wait is the time that the NFS requests have to wait in the backlog queue before being sent to the NFS server. It indicates the congestion on the NFS client side. A high backlog wait can cause poor NFS performance and slow system response times.
ms
≥0
NFS解析文件句柄操作往返时间
ma_node_mountstats_lookup_rtt
Lookup is an NFS operation that resolves a file name in a directory to a file handle. RTT stands for Round Trip Time and it is the time from when the kernel RPC client sends the RPC request to the time it receives the reply34. RTT includes network transit time and server execution time. RTT is a good measurement for NFS latency. A high RTT can indicate network or server issues.
ms
≥0
NFS读文件操作拥塞时间
ma_node_mountstats_read_backlog_wait
Read is an NFS operation that reads data from a file. Backlog wait is the time that the NFS requests have to wait in the backlog queue before being sent to the NFS server. It indicates the congestion on the NFS client side. A high backlog wait can cause poor NFS performance and slow system response times.
ms
≥0
NFS读文件操作往返时间
ma_node_mountstats_read_rtt
Read is an NFS operation that reads data from a file. RTT stands for Round Trip Time and it is the time from when the kernel RPC client sends the RPC request to the time it receives the reply34. RTT includes network transit time and server execution time. RTT is a good measurement for NFS latency. A high RTT can indicate network or server issues.
ms
≥0
NFS写文件操作拥塞时间
ma_node_mountstats_write_backlog_wait
Write is an NFS operation that writes data to a file. Backlog wait is the time that the NFS requests have to wait in the backlog queue before being sent to the NFS server. It indicates the congestion on the NFS client side. A high backlog wait can cause poor NFS performance and slow system response times.
ms
≥0
NFS写文件操作往返时间
ma_node_mountstats_write_rtt
Write is an NFS operation that writes data to a file. RTT stands for Round Trip Time and it is the time from when the kernel RPC client sends the RPC request to the time it receives the reply34. RTT includes network transit time and server execution time. RTT is a good measurement for NFS latency. A high RTT can indicate network or server issues.
ms
≥0
表3 Diagnos（IB，仅专属池上会收集） 分类
名称
指标
指标含义
单位
取值范围
infiniband或RoCE网络
PortXmitData
infiniband_port_xmit_data_total
The total number of data octets, divided by 4, (counting in double words, 32 bits), transmitted on all VLs from the port.
计数值
自然数
PortRcvData
infiniband_port_rcv_data_total
The total number of data octets, divided by 4, (counting in double words, 32 bits), received on all VLs from the port.
计数值
自然数
SymbolErrorCounter
infiniband_symbol_error_counter_total
Total number of minor link errors detected on one or more physical lanes.
计数值
自然数
LinkErrorRecoveryCounter
infiniband_link_error_recovery_counter_total
Total number of times the Port Training state machine has successfully completed the link error recovery process.
计数值
自然数
PortRcvErrors
infiniband_port_rcv_errors_total
Total number of packets containing errors that were received on the port including:
Local physical errors (ICRC, VCRC, LPCRC, and all physical errors that cause entry into the BAD PACKET or BAD PACKET DISCARD states of the packet receiver state machine)
Malformed data packet errors (LVer, length, VL)
Malformed link packet errors (operand, length, VL)
Packets discarded due to buffer overrun (overflow)
计数值
自然数
LocalLinkIntegrityErrors
infiniband_local_link_integrity_errors_total
This counter indicates the number of retries initiated by a link transfer layer receiver.
计数值
自然数
PortRcvRemotePhysicalErrors
infiniband_port_rcv_remote_physical_errors_total
Total number of packets marked with the EBP delimiter received on the port.
计数值
自然数
PortRcvSwitchRelayErrors
infiniband_port_rcv_switch_relay_errors_total
Total number of packets received on the port that were discarded when they could not be forwarded by the switch relay for the following reasons:
DLID mapping
VL mapping
Looping (output port = input port)
计数值
自然数
PortXmitWait
infiniband_port_transmit_wait_total
The number of ticks during which the port had data to transmit but no data was sent during the entire tick (either because of insufficient credits or because of lack of arbitration).
计数值
自然数
PortXmitDiscards
infiniband_port_xmit_discards_total
Total number of outbound packets discarded by the port because the port is down or congested.
计数值
自然数
表4 Label名字栏 指标对象
Label名字
Label描述
容器级别指标
modelarts_service
容器属于哪个服务，包含notebook，train和infer。
instance_name
容器所属pod的名字。
service_id
页面展示的实例或者job id。如开发环境为：cf55829e-9bd3-48fa-8071-7ae870dae93a，
训练作业为：9f322d5a-b1d2-4370-94df-5a87de27d36e
node_ip
容器所属的节点IP值。
container_id
容器ID。
cid
集群ID。
container_name
容器名称。
project_id
用户所属的账号的project id。
user_id
提交作业的用户所属的账号的user id。
pool_id
物理专属池对应的资源池id。
pool_name
物理专属池对应的资源池name。
logical_pool_id
逻辑子池的id。
logical_pool_name
逻辑子池的name。
gpu_uuid
容器使用的GPU的UUID。
gpu_index
容器使用的GPU的索引。
gpu_type
容器使用的GPU的型号。
account_name
训练、推理或开发环境任务创建者的账号名。
user_name
训练、推理或开发环境任务创建者的用户名。
task_creation_time
训练、推理或开发环境任务的创建时间。
task_name
训练、推理或开发环境任务的名称。
task_spec_code
训练、推理或开发环境任务的规格。
cluster_name
CCE集群名称。
node级别指标
cid
该node所属CCE集群的ID。
node_ip
节点的IP。
host_name
节点的主机名。
pool_id
物理专属池对应的资源池ID。
project_id
物理专属池的用户的project id。
gpu_uuid
节点上GPU的UUID。
gpu_index
节点上GPU的索引。
gpu_type
节点上GPU的型号。
device_name
infiniband或RoCE网络网卡的设备名称。
port
IB网卡的端口号。
physical_state
IB网卡每个端口的状态。
firmware_version
IB网卡的固件版本。
filesystem
NFS挂载的文件系统。
mount_point
NFS的挂载点。
Diagnos
cid
GPU所在节点所属的CCE集群ID。
node_ip
GPU所在节点的IP。
pool_id
物理专属池对应的资源池ID。
project_id
物理专属池的用户的project id。
gpu_uuid
GPU的UUID。
gpu_index
节点上GPU的索引。
gpu_type
节点上GPU的型号。
device_name
网络设备或磁盘设备的名称。
port
IB网卡的端口号。
physical_state
IB网卡每个端口的状态。
firmware_version
IB网卡的固件版本。
