基础指标：ModelArts指标
介绍ModelArts通过Agent上报到AOM的指标。ModelArts各项监控指标的采集周期等详细信息，请参考在AOM平台查看在线服务性能指标。
| 指标类别 | 指标 | 指标名称 | 指标含义 | 取值范围 | 单位 |
|---|---|---|---|---|---|
| CPU | ma_container_cpu_util | CPU使用率 | 该指标用于统计测量对象的CPU使用率。 | 0～100 | 百分比（%） |
| ma_container_cpu_used_core | CPU内核占用量 | 该指标用于统计测量对象已经使用的CPU核个数。 | ≥0 | 核（Core） | |
| ma_container_cpu_limit_core | CPU内核总量 | 该指标用于统计测量对象申请的CPU核总量。 | ≥1 | 核（Core） | |
| 内存 | ma_container_memory_capacity_megabytes | 内存总量 | 该指标用于统计测量对象申请的物理内存总量。 | ≥0 | 兆字节（MB） |
| ma_container_memory_util | 物理内存使用率 | 该指标用于统计测量对象已使用内存占申请物理内存总量的百分比。 | 0～100 | 百分比（%） | |
| ma_container_memory_used_megabytes | 物理内存使用量 | 该指标用于统计测量对象实际已经使用的物理内存，对应指标container_memory_working_set_bytes，即当前内存工作集（working set）使用量。工作区内存使用量=活跃的匿名页和活跃的file-backed页（文件缓存）之和，且不大于container_memory_usage_bytes。 | ≥0 | 兆字节（MB） | |
| 存储IO | ma_container_disk_read_kilobytes | 磁盘读取速率 | 该指标用于统计每秒从磁盘读出的数据量。 | ≥0 | 千字节/秒（kB/s） |
| ma_container_disk_write_kilobytes | 磁盘写入速率 | 该指标用于统计每秒写入磁盘的数据量。 | ≥0 | 千字节/秒（kB/s） | |
| GPU显存 | ma_container_gpu_mem_total_megabytes | 显存容量 | 该指标用于统计训练任务的显存容量。 | >0 | 兆字节（MB） |
| ma_container_gpu_mem_util | 显存使用率 | 该指标用于统计测量对象已使用的显存占显存容量的百分比。 | 0～100 | 百分比（%） | |
| ma_container_gpu_mem_used_megabytes | 显存使用量 | 该指标用于统计测量对象已使用的显存。 | ≥0 | 兆字节（MB） | |
| GPU | ma_container_gpu_util | GPU使用率 | 该指标用于统计测量对象的GPU使用率。 | 0～100 | 百分比（%） |
| ma_container_gpu_mem_copy_util | GPU内存带宽利用率 | 表示内存带宽利用率。以英伟达GPU V100为例，其最大内存带宽为900 GB/sec，如果当前的内存带宽为450 GB/sec，则内存带宽利用率为50%。 | 0～100 | 百分比（%） | |
| ma_container_gpu_enc_util | GPU编码器利用率 | 表示编码器利用率。 | 0～100 | 百分比（%） | |
| ma_container_gpu_dec_util | GPU解码器利用率 | 表示解码器利用率。 | 0～100 | 百分比（%） | |
| DCGM_FI_DEV_GPU_TEMP | GPU温度 | 表示GPU温度。 | >0 | 摄氏度（℃） | |
| DCGM_FI_DEV_POWER_USAGE | GPU功率 | 表示功率。 | >0 | 瓦（W） | |
| DCGM_FI_DEV_MEMORY_TEMP | 内存温度 | 表示内存温度。 | >0 | 摄氏度（℃） | |
| DCGM_FI_PROF_GR_ENGINE_ACTIVE | Graphics Engine Activity | 表示在一个时间间隔内，Graphics或Compute引擎处于Active的时间占比。该值表示所有Graphics和Compute引擎的平均值。Graphics或Compute引擎处于Active是指Graphics或Compute Context绑定到线程，并且Graphics或Compute Context处于Busy状态。 | 0~1.0 | 占比（Fraction） | |
| DCGM_FI_PROF_SM_OCCUPANCY | SM Occupancy | 表示在一个时间间隔内，驻留在SM上的线程束与该SM最大可驻留线程束的比例。 该值表示一个时间间隔内的所有SM的平均值。 占用率越高不代表GPU使用率越高。只有在GPU内存带宽受限的工作负载（DCGM_FI_PROF_DRAM_ACTIVE）情况下，更高的占用率表示更有效的GPU使用率。 | 0~1.0 | 占比（Fraction） | |
| DCGM_FI_PROF_PIPE_TENSOR_ACTIVE | Tensor Activity | 表示Tensor（HMMA/IMMA） Pipe处于Active状态的周期分数。 该值表示一个时间间隔内的平均值，而不是瞬时值。 较高的值表示Tensor Cores的利用率较高。 该值为1（100%）表示在整个时间间隔内每隔一个指令周期发出一个Tensor指令（两个周期完成一条指令）。 假设该值为0.2（20%），可能有如下情况： 在整个时间间隔内，有20%的SM的Tensor Core以100%的利用率运行。 在整个时间间隔内，有100%的SM的Tensor Core以20%的利用率运行。 在整个时间间隔的1/5时间内，有100%的SM上的Tensor Core以100%利用率运行。 其他组合模式。 | 0~1.0 | 占比（Fraction） | |
| DCGM_FI_PROF_DRAM_ACTIVE | Memory BW Utilization | 表示在一个时间间隔内，向设备内存发送数据或者从设备内存接收数据的时间占比。 该值表示一个时间间隔内的平均值，而不是瞬时值。 较高的值表示设备内存的利用率较高。 该值为1（100%）表示在整个时间间隔内每个周期执行一次DRAM指令（实际上，约0.8（80%）的峰值是可达到的最大峰值）。 假设该值为0.2（20%），表示在时间间隔内，有20%的周期从设备内存读取或写入设备内存。 | 0~1.0 | 占比（Fraction） | |
| DCGM_FI_PROF_PIPE_FP16_ACTIVE | FP16 Engine Activity | 表示FP16（半精度）管道处于Active的周期分数。 该值表示一个时间间隔内的平均值，而不是瞬时值。 较高的值代表FP16 Cores有较高的利用率。 该值为1（100%）表示在整个时间间隔内，每两个周期（以Volta类型卡为例）执行一次FP16指令。 假设该值为0.2（20%），可能有如下情况： 在整个时间间隔内，有20%的SM的FP16 Core以100%的利用率运行。 在整个时间间隔内，有100%的SM的FP16 Core以20%的利用率运行。 在整个时间间隔的1/5时间内，有100%的SM上的FP16 Core以100%利用率运行。 其他组合模式。 | 0~1.0 | 占比（Fraction） | |
| DCGM_FI_PROF_PIPE_FP32_ACTIVE | FP32 Engine Activity | 表示乘加操作FMA（Fused Multiply-Add）管道处于Active的周期分数，乘加操作包括FP32（单精度）和整数。 该值表示一个时间间隔内的平均值，而不是瞬时值。 较高的值代表FP32 Cores有较高的利用率。 该值为1（100%）表示在整个时间间隔内，每两个周期（以Volta类型卡为例）执行一次FP32指令。 假设该值为0.2（20%），可能有如下情况： 在整个时间间隔内，有20%的SM的FP32 Core以100%的利用率运行。 在整个时间间隔内，有100%的SM的FP32 Core以20%的利用率运行。 在整个时间间隔的1/5时间内，有100%的SM上的FP32 Core以100%利用率运行。 其他组合模式。 | 0~1.0 | 占比（Fraction） | |
| DCGM_FI_PROF_PIPE_FP64_ACTIVE | FP64 Engine Activity | 表示FP64（双精度）Pipe处于Active状态的周期分数。 该值表示一个时间间隔内的平均值，而不是瞬时值。 较高的值代表FP64 Cores有较高的利用率。 该值为1（100%）表示在整个时间间隔内，每四个周期（以Volta类型卡为例）执行一次FP64指令。 假设该值为0.2（20%），可能有如下情况： 在整个时间间隔内，有20%的SM的FP64 Core以100%的利用率运行。 在整个时间间隔内，有100%的SM的FP64 Core以20%的利用率运行。 在整个时间间隔的1/5时间内，有100%的SM上的FP64 Core以100%利用率运行。 其他组合模式。 | 0~1.0 | 占比（Fraction） | |
| DCGM_FI_PROF_SM_ACTIVE | SM Activity | 表示在一个时间间隔内，至少一个线程束在一个SM（Streaming Multiprocessor）上处于Active的时间占比。 该值表示所有SM的平均值，且该值对每个块的线程数不敏感。 线程束处于Active是指一个线程束被调度且分配资源后的状态，可能是在Computing状态，也可能是非Computing状态（例如等待内存请求）。 该值小于0.5表示未高效利用GPU，大于0.8是必要的。 假设一个GPU有N个SM： 一个核函数在整个时间间隔内使用N个线程块运行在所有的SM上，此时该值为1（100%）。 一个核函数在一个时间间隔内运行N/5个线程块，此时该值为0.2。 一个核函数使用N个线程块，在一个时间间隔内，仅运行了1/5个周期的时间，此时该值为0.2。 | 0~1.0 | 占比（Fraction） | |
| DCGM_FI_PROF_PCIE_TX_BYTES DCGM_FI_PROF_PCIE_RX_BYTES | PCIe Bandwidth | 表示通过PCIe总线传输/接收的数据速率，包括协议标头和数据有效负载。 该指标为指定时间间隔内的平均速率，而非瞬时值。例如，在1秒内传输1 GB数据，则无论以恒定速率还是突发传输数据，速率都是1 GB/s。理论上的最大PCIe Gen3带宽为每通道985 MB/s。 | ≥0 | 字节/秒（Byte/s） | |
| DCGM_FI_PROF_NVLINK_RX_BYTES DCGM_FI_PROF_NVLINK_TX_BYTES | NVLink Bandwidth | 表示通过NVLink传输/接收的数据速率，不包括协议标头。 该指标为指定时间间隔内的平均速率，而非瞬时值。例如，在1秒内传输1 GB数据，则无论以恒定速率还是突发传输数据，速率都是1 GB/s。理论上，最大NVLink Gen2带宽为每个方向每个链路25 GB/s。 | ≥0 | 字节/秒（Byte/s） | |
| 网络IO | ma_container_network_receive_bytes | 下行Bps | 该指标用于统计测量对象的入方向网络流速。 | ≥0 | 字节/秒（Byte/s） |
| ma_container_network_receive_packets | 下行Pps | 每秒网卡接收的数据包个数。 | ≥0 | 个/秒（Packet/s） | |
| ma_container_network_receive_error_packets | 下行错包率 | 每秒网卡接收的错误包个数。 | ≥0 | 个/秒（Count/s） | |
| ma_container_network_transmit_bytes | 上行Bps | 该指标用于统计测量对象的出方向网络流速。 | ≥0 | 字节/秒（Byte/s） | |
| ma_container_network_transmit_error_packets | 上行错包率 | 每秒网卡发送的错误包个数。 | ≥0 | 个/秒（Count/s） | |
| ma_container_network_transmit_packets | 上行Pps | 每秒网卡发送的数据包个数。 | ≥0 | 个/秒（Packet/s） | |
| NPU | ma_container_npu_util | NPU使用率 | 该指标用于统计测量对象的NPU使用率。 | 0～100 | 百分比（%） |
| ma_container_npu_memory_util | NPU显存使用率 | 该指标用于统计测量对象已使用的NPU显存占NPU存储容量的百分比。 | 0～100 | 百分比（%） | |
| ma_container_npu_memory_used_megabytes | NPU显存使用量 | 该指标用于统计测量对象已使用的NPU显存。 | ≥0 | 兆字节（MB） | |
| ma_container_npu_memory_total_megabytes | NPU显存容量 | 该指标用于统计测量对象的NPU显存容量。 | ≥0 | 兆字节（MB） | |
| 请求统计 | infer_service_request_total | 服务请求数 | 统计在线服务接口在一个采集周期内的请求次数。 | ≥0 | 次 |
| infer_service_request_connect_count | 实时连接数 | 统计在线服务在指标采集时刻的实时连接数量。 | ≥0 | 个 | |
| Token时延 | infer_service_first_token_avg_cost | 首Token平均时延 | 一个周期内首Token时延平均值。 | ≥0 | ms |
| infer_service_first_token_min_cost | 首Token最小时延 | 一个周期内首Token时延最小值。 | ≥0 | ms | |
| infer_service_first_token_max_cost | 首Token最大时延 | 一个周期内首Token时延最大值。 | ≥0 | ms | |
| infer_service_per_token_avg_cost | 每Token平均时延 | 一个周期内每个输出Token（非首Token）平均时延。 | ≥0 | ms | |
| infer_service_per_token_min_cost | 每Token最小时延 | 一个周期内每个输出Token（非首Token）最小时延。 | ≥0 | ms | |
| infer_service_per_token_max_cost | 每Token最大时延 | 一个周期内每个输出Token（非首Token）最大时延。 | ≥0 | ms | |
| infer_service_token_latency_avg_cost | 输出Token总耗时平均值 | 一个周期内输出Token总耗时平均值。 | ≥0 | ms | |
| infer_service_token_latency_min_cost | 输出Token总耗时最小值 | 一个周期内输出Token总耗时最小值。 | ≥0 | ms | |
| infer_service_token_latency_max_cost | 输出Token总耗时最大值 | 一个周期内输出Token总耗时最大值。 | ≥0 | ms | |
| Token数 | infer_service_token_count | Token产生数量 | 在线服务一个统计周期内Token的产生数量。 | ≥0 | 个 |
| 转发统计 | request_forward_failed_count | 请求转发失败数 | 转发失败（响应码≥500且带error_type）时计数。 | ≥0 | 次 |
| 指标类别 | 指标 | 指标名称 | 指标含义 | 取值范围 | 单位 |
|---|---|---|---|---|---|
| 服务时延 | infer_service_request_cost_bucket | 在线服务请求时延分布 | 统计请求时延，均值=sum/count，TPxx用_bucket。 | 无上限 | ms |
| infer_service_request_cost_sum | 在线服务请求时延分布 | 统计请求时延，均值=sum/count，TPxx用_bucket。 | 无上限 | ms | |
| infer_service_request_cost_count | 在线服务请求时延分布 | 统计请求时延，均值=sum/count，TPxx用_bucket。 | 无上限 | ms | |
| 首Token时延 | infer_service_first_token_cost_bucket | 首Token时延分布 | 统计首Token时延TP趋势，TPxx用_bucket。 | ≤110K | ms |
| infer_service_first_token_cost_sum | 首Token时延分布 | 统计首Token时延TP趋势，TPxx用_bucket。 | ≤110K | ms | |
| infer_service_first_token_cost_count | 首Token时延分布 | 统计首Token时延TP趋势，TPxx用_bucket。 | ≤110K | ms | |
| 非首Token时延 | infer_service_per_token_cost_bucket | 每Token时延分布 | 统计每个输出Token时延TP趋势，TPxx用_bucket。 | ≤110K | ms |
| infer_service_per_token_cost_sum | 每Token时延分布 | 统计每个输出Token时延TP趋势，TPxx用_bucket。 | ≤110K | ms | |
| infer_service_per_token_cost_count | 每Token时延分布 | 统计每个输出Token时延TP趋势，TPxx用_bucket。 | ≤110K | ms | |
| 输入Token数 | infer_service_input_token_quantity_bucket | 请求平均输入Token数 | 统计请求输入Token数，均值=sum/count。 | ≤110K | 个 |
| infer_service_input_token_quantity_sum | 请求平均输入Token数 | 统计请求输入Token数，均值=sum/count。 | ≤110K | 个 | |
| infer_service_input_token_quantity_count | 请求平均输入Token数 | 统计请求输入Token数，均值=sum/count。 | ≤110K | 个 | |
| 输出Token数 | infer_service_output_token_quantity_bucket | 请求平均输出Token数 | 统计请求输出Token数，均值=sum/count。 | ≤110K | 个 |
| infer_service_output_token_quantity_sum | 请求平均输出Token数 | 统计请求输出Token数，均值=sum/count。 | ≤110K | 个 | |
| infer_service_output_token_quantity_count | 请求平均输出Token数 | 统计请求输出Token数，均值=sum/count。 | ≤110K | 个 |
