Ray端点资源、作业和Ray原生指标
资源指标
| 指标ID | 指标名称 | 指标含义 | 取值范围 | 单位 | 进制 | 维度 | 监控周期 |
|---|---|---|---|---|---|---|---|
| aidatalake_ray_cpu_usage | 端点CPU使用量 | 端点CPU使用量。 | ≥0 | 核（Core） | 不涉及 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
| aidatalake_ray_cpu_rate | 端点CPU使用率 | 端点使用CPU资源的CPU使用率平均值。 | 0～100 | 百分比（%） | 不涉及 | workspace_id, endpoint_id, endpoint_type, resource_type | 1分钟 |
| aidatalake_ray_cpu_elastic_allocation | 弹性CPU分配量 | 弹性CPU分配量。 | ≥0 | 核（Core） | 不涉及 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
| aidatalake_ray_cpu_reserved_allocation | 预留CPU分配量 | 预留CPU分配量。 | ≥0 | 核（Core） | 不涉及 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
| aidatalake_ray_mem_usage | 端点内存使用量 | 端点内存使用量。 | ≥0 | 千兆字节（GiB） | 1024 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
| aidatalake_ray_mem_rate | 端点内存使用率 | 端点内存使用率平均值。 | 0～100 | 百分比（%） | 不涉及 | workspace_id, endpoint_id, endpoint_type, resource_type | 1分钟 |
| aidatalake_ray_mem_elastic_allocation | 弹性内存分配量 | 弹性内存分配量。 | ≥0 | 千兆字节（GiB） | 1024 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
| aidatalake_ray_mem_reserved_allocation | 预留内存分配量 | 预留内存分配量。 | ≥0 | 千兆字节（GiB） | 1024 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
| aidatalake_ray_gpu_usage | 端点GPU使用量 | 端点GPU使用量。 | ≥0 | 卡(Card) | 不涉及 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
| aidatalake_ray_gpu_rate | 端点GPU使用率 | 端点使用GPU资源的使用率平均值。 | 0～100 | 百分比（%） | 不涉及 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
| aidatalake_ray_gpu_elastic_allocation | 弹性GPU卡分配量 | 弹性GPU卡分配量。 | ≥0 | 卡(Card) | 不涉及 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
| aidatalake_ray_gpu_reserved_allocation | 预留GPU卡分配量 | 预留GPU卡分配量。 | ≥1 | 卡(Card) | 不涉及 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
| aidatalake_ray_npu_usage | 端点NPU使用量 | 端点NPU使用量。 | ≥1 | 卡(Card) | 不涉及 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
| aidatalake_ray_npu_memory_usage | NPU显存使用率 | NPU显存资源的使用率平均值。 | 0～100 | 百分比（%） | 不涉及 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
| aidatalake_ray_npu_rate | 端点NPU使用率 | 端点使用NPU资源的使用率平均值。 | 0～100 | 百分比（%） | 不涉及 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
| aidatalake_ray_npu_elastic_allocation | 弹性NPU卡分配量 | 弹性NPU卡分配量。 | ≥0 | 卡(Card) | 不涉及 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
| aidatalake_ray_npu_reserved_allocation | 预留NPU卡分配量 | 预留NPU卡分配量。 | ≥1 | 卡(Card) | 不涉及 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
作业指标
| 指标ID | 指标名称 | 指标含义 | 取值范围 | 单位 | 进制 | 维度 | 监控周期 |
|---|---|---|---|---|---|---|---|
| aidatalake_ray_submitting_jobs_count | 提交中作业数 | 提交中作业数。 | ≥0 | Count | 不涉及 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
| aidatalake_ray_running_jobs_count | 运行中作业数 | 运行中作业数。 | ≥0 | Count | 不涉及 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
| aidatalake_ray_completed_jobs_count | 已完成作业数 | 已完成作业数。 | ≥0 | Count | 不涉及 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
| aidatalake_ray_failed_jobs_count | 失败作业数 | 失败作业数。 | ≥0 | Count | 不涉及 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
| aidatalake_ray_cancelled_jobs_count | 已取消作业数 | 已取消作业数。 | ≥0 | Count | 不涉及 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
| aidatalake_ray_max_submitting_duration_ms | 最长提交时长 | 最长提交时长。 | ≥1 | ms | 不涉及 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
| aidatalake_ray_max_running_duration_ms | 最长运行时长 | 最长运行时长。 | ≥1 | ms | 不涉及 | workspace_id, endpoint_id, endpoint_type | 1分钟 |
Ray原生指标
| 指标ID | 指标名称 | 指标含义 | 取值范围 | 单位 | 进制 | 维度 | 监控周期 |
|---|---|---|---|---|---|---|---|
| ray_actors_1 | 按状态统计的Actor数量 | 按状态分组的Actor数量（依赖未就绪、待创建、存活等）。 | ≥0 | Count | 不涉及 | workspace_id, endpoint_id, state | 1分钟 |
| ray_tasks_1 | 按状态统计的任务数量 | 当前按状态分组的任务数量。 | ≥0 | Count | 不涉及 | workspace_id, endpoint_id, state | 1分钟 |
| ray_resources_1 | Ray资源 | 按状态（可用、已用）分组的逻辑Ray 资源。 | ≥0 | 不涉及 | 不涉及 | workspace_id, endpoint_id, state, resource_name | 1分钟 |
| ray_scheduler_tasks_1 | 等待调度的任务数 | 等待调度的任务数量，按状态分组。 | ≥0 | Count | 不涉及 | workspace_id, endpoint_id, state | 1分钟 |
| ray_scheduler_unscheduleable_tasks_1 | 无法调度的待处理任务数 | 因资源约束无法调度的待处理任务数量，按原因分组。 | ≥0 | Count | 不涉及 | workspace_id, endpoint_id, reason | 1分钟 |
| ray_scheduler_placement_time_ms_1_bucket | 调度器放置耗时直方图分桶。 | 调度器放置耗时直方图分桶。 | ≥0 | ms | 不涉及 | workspace_id, endpoint_id | 1分钟 |
| ray_scheduler_placement_time_ms_1_count | 调度器放置决策累计次数 | 调度器放置决策累计次数。 | ≥0 | Count | 不涉及 | workspace_id, endpoint_id | 1分钟 |
| ray_scheduler_placement_time_ms_1_sum | 调度器放置决策累计总耗时 | 调度器放置决策累计总耗时。 | ≥0 | ms | 不涉及 | workspace_id, endpoint_id | 1分钟 |
| ray_io_context_event_loop_lag_ms_1 | 事件循环延迟时间 | I/O上下文事件循环滞后，反映从任务提交到执行的延迟。 | ≥0 | ms | 不涉及 | workspace_id, endpoint_id | 1分钟 |
| ray_object_store_memory_1 | 对象存储内存 | 对象存储内存使用量，按类型分组（共享内存、磁盘映射、堆、溢出）。 | ≥0 | Bytes | 1024 | workspace_id, endpoint_id, type | 1分钟 |
| ray_object_store_available_memory_1 | 对象存储可用内存 | 对象存储当前可用内存。 | ≥0 | Bytes | 1024 | workspace_id, endpoint_id | 1分钟 |
| ray_object_store_used_memory_1 | 对象存储已用内存 | 对象存储当前已用内存。 | ≥0 | Bytes | 1024 | workspace_id, endpoint_id | 1分钟 |
| ray_object_store_num_local_objects_1 | 对象存储本地对象数量 | 对象存储中当前本地对象的数量。 | ≥0 | Count | 不涉及 | workspace_id, endpoint_id | 1分钟 |
| ray_running_jobs_1 | 运行中作业数 | 当前正在运行的Ray作业数量。 | ≥0 | Count | 不涉及 | workspace_id, endpoint_id | 1分钟 |
| ray_finished_jobs_1_total | 已完成作业数 | 已完成的Ray作业累计数量 | ≥0 | Count | 不涉及 | workspace_id, endpoint_id | 1分钟 |
| ray_job_duration_s_1 | 作业持续运行时间 | 已完成作业的持续时间。 | ≥0 | s | 不涉及 | workspace_id, endpoint_id, job_id | 1分钟 |
| ray_node_cpu_utilization_1 | 端点CPU利用率 | Ray端点的CPU利用率百分比。 | 0~100 | % | 不涉及 | workspace_id, endpoint_id, node_id | 1分钟 |
| ray_node_cpu_count_1 | 端点CPU核数 | Ray端点上的CPU核心总数。 | ≥0 | Cores | 不涉及 | workspace_id, endpoint_id, node_id | 1分钟 |
| ray_node_mem_used_1 | 端点已用内存 | Ray端点已用内存。 | ≥0 | Bytes | 1024 | workspace_id, endpoint_id, node_id | 1分钟 |
| ray_node_mem_available_1 | 端点可用内存 | Ray端点可用内存，单位为字节 | ≥0 | Bytes | 1024 | workspace_id, endpoint_id, node_id | 1分钟 |
| ray_node_mem_total_1 | 端点总内存 | Ray端点总内存。 | ≥0 | Bytes | 1024 | workspace_id, endpoint_id, node_id | 1分钟 |
| ray_node_gpus_available_1 | 端点可用GPU数 | Ray端点上可用GPU卡数量。 | ≥0 | Cards | 不涉及 | workspace_id, endpoint_id, node_id | 1分钟 |
| ray_node_gpus_utilization_1 | 端点GPU利用率 | Ray端点的GPU利用率百分比。 | 0~100 | % | 不涉及 | workspace_id, endpoint_id, node_id | 1分钟 |
| ray_node_gram_used_1 | 端点显存使用量 | Ray端点已用GPU显存。 | ≥0 | Bytes | 1024 | workspace_id, endpoint_id, node_id | 1分钟 |
| ray_node_gram_available_1 | 端点显存可用量 | Ray端点可用GPU显存。 | ≥0 | Bytes | 1024 | workspace_id, endpoint_id, node_id | 1分钟 |
| ray_node_npus_utilization_1 | 端点NPU利用率 | Ray端点的NPU计算利用率百分比。 | 0~100 | % | 不涉及 | workspace_id, endpoint_id, node_id | 1分钟 |
| ray_node_hbm_used_1 | 端点NPU HBM使用量 | Ray端点已用NPU HBM（高带宽内存）。 | ≥0 | Bytes | 1024 | workspace_id, endpoint_id, node_id | 1分钟 |
| ray_node_disk_usage_1 | 端点磁盘使用量 | Ray端点磁盘使用量，按设备分组。 | ≥0 | Bytes | 1024 | workspace_id, endpoint_id, node_id, device | 1分钟 |
| ray_node_disk_utilization_percentage_1 | 端点磁盘利用率 | Ray端点磁盘利用率百分比，按设备分组。 | 0~100 | % | 不涉及 | workspace_id, endpoint_id, node_id, device | 1分钟 |
| ray_node_network_sent_1 | 端点上行发送量 | Ray端点发送的网络数据总量。 | ≥0 | Bytes | 1024 | workspace_id, endpoint_id, node_id, interface | 1分钟 |
| ray_node_network_received_1 | 端点下行接收量 | Ray端点接收的网络数据总量。 | ≥0 | Bytes | 1024 | workspace_id, endpoint_id, node_id, interface | 1分钟 |
| ray_cluster_active_nodes_1 | 集群活跃端点数 | Ray集群中活跃端点数量，按端点类型分组（头端点/工作端点）。 | ≥0 | Count | 不涉及 | workspace_id, endpoint_id, node_type | 1分钟 |
| ray_cluster_failed_nodes_1 | 集群失败端点数 | Ray集群中失败端点数量，按端点类型分组。 | ≥0 | Count | 不涉及 | workspace_id, endpoint_id, node_type | 1分钟 |
| ray_cluster_pending_nodes_1 | 集群待定端点数 | Ray集群中待定端点数量，按端点类型分组。 | ≥0 | Count | 不涉及 | workspace_id, endpoint_id, node_type | 1分钟 |
| ray_component_cpu_percentage | 组件CPU利用率 | Ray组件（如头端点、工作进程）的CPU利用率百分比。 | 0~100 | % | 不涉及 | workspace_id, endpoint_id, component_name | 1分钟 |
| ray_component_cpu_percentage_1 | 组件CPU利用率 | Ray组件（如头端点、工作进程）的CPU利用率百分比。 | 0~100 | % | 不涉及 | workspace_id, endpoint_id, component_name | 1分钟 |
| ray_component_rss_mb | 组件RSS内存 | Ray组件的RSS（常驻集大小）内存使用量。 | ≥0 | MiB | 1024 | workspace_id, endpoint_id, component_name | 1分钟 |
| ray_component_rss_mb_1 | 组件RSS内存 | Ray组件的RSS（常驻集大小）内存使用量。 | ≥0 | MiB | 1024 | workspace_id, endpoint_id, component_name | 1分钟 |
