更新时间:2026-11-17 GMT+08:00
分享

Spark端点资源和作业指标

资源指标

表1 SparkJob端点、SparkSQL端点资源指标

指标ID

指标名称

指标含义

取值范围

单位

进制

维度

监控周期

告警阈值

告警级别

处理建议

aidatalake_endpoint_spark_cpu_used

CPU使用量

当前端点所有作业实际已使用的CPU量。

≥0

核(Core)

不涉及

workspace_id,endpoint_id

1分钟

NA

NA

NA

aidatalake_endpoint_spark_cpu_quota_max

CPU配额总量

当前端点创建时配置的CPU总量。

≥0

核(Core)

不涉及

workspace_id,endpoint_id

1分钟

NA

NA

NA

aidatalake_endpoint_spark_cpu_usage

CPU使用率

当前端点所有作业CPU资源的使用率。

0~100

百分比(%)

不涉及

workspace_id,endpoint_id

1分钟

连续2个周期 原始值 > 95%

提示

如不符合业务资源使用预期,请按以下方式处理:
  • 查业务负载是否过高、是否存在异常作业或进程导致 CPU争抢;如持续偏高,建议调整作业并行度/资源配置,或扩容端点计算规格。
  • 联系运维人员处理。

aidatalake_endpoint_spark_cpu_allocated

CPU分配量

当前端点所有作业实时已分配的CPU量。

≥0

核(Core)

不涉及

workspace_id, endpoint_id

1分钟

NA

NA

NA

aidatalake_endpoint_spark_memory_used

内存使用量

当前端点所有作业实际已使用的内存量。

≥0

兆字节(MB)

1024

workspace_id,endpoint_id

1分钟

NA

NA

NA

aidatalake_endpoint_spark_memory_quota_max

内存配额总量

当前端点可使用的内存最大容量。

≥0

兆字节(MB)

1024

workspace_id,endpoint_id

1分钟

NA

NA

NA

aidatalake_endpoint_spark_memory_usage

内存使用率

当前端点所有作业内存资源的使用率。

0~100

百分比(%)

不涉及

workspace_id,endpoint_id

1分钟

连续2个周期 原始值 > 95%

提示

如不符合业务资源使用预期,请按以下方式处理:
  • 请检查作业内存配置与使用情况,排查是否存在内存泄漏或内存参数设置不当;如持续偏高,建议调大端点内存资源规格或优化作业配置。
  • 联系运维人员处理。

aidatalake_endpoint_spark_memory_allocated

内存分配量

当前端点所有作业实时已分配的内存量。

≥0

兆字节(MB)

1024

workspace_id, endpoint_id

1分钟

NA

NA

NA

作业指标

表2 SparkJob端点、SparkSQL端点作业指标

指标ID

指标名称

指标含义

取值范围

单位

进制

维度

监控周期

告警阈值

告警级别

处理建议

aidatalake_endpoint_spark_submitting_jobs_count

提交中作业数

当前端点正在提交状态的作业数统计,并计算出作业数的最大值、最小值和平均值。

≥0

Count

不涉及

workspace_id,endpoint_id

1分钟

连续2个周期原始值>20

提示

如不符合业务资源使用预期,请按以下方式处理:

  • 检查是否存在批量提交或作业积压,减少并发提交的作业数,待提交中的作业流转完成后再继续提交。
  • 联系运维人员处理。

aidatalake_endpoint_spark_running_jobs_count

运行中作业数

当前端点正在运行中的作业数统计,并计算出作业数的最大值、最小值和平均值。

≥0

Count

不涉及

workspace_id,endpoint_id

1分钟

NA

NA

NA

aidatalake_endpoint_spark_completed_jobs_count

成功作业数

当前端点成功的作业数统计,并计算出作业数的最大值、最小值和平均值。

≥0

Count

不涉及

workspace_id,endpoint_id

1分钟

NA

NA

NA

aidatalake_endpoint_spark_failed_jobs_count

失败作业数

当前端点失败的作业数统计,并计算出作业数的最大值、最小值和平均值。

≥0

Count

不涉及

workspace_id,endpoint_id

1分钟

NA

NA

NA

aidatalake_endpoint_spark_cancelled_jobs_count

已取消作业数

当前端点已取消运行的作业数统计,并计算出作业数的最大值、最小值和平均值。SparkJob端点:包含已取消;SparkSQL端点:包含已取消。

≥0

Count

不涉及

workspace_id,endpoint_id

1分钟

NA

NA

NA

aidatalake_endpoint_spark_max_submitting_duration_ms

作业提交最大时长

当前端点该时间点提交中的作业最长的持续时间。SparkJob端点:包含排队中、启动中;SparkSQL端点:包含排队中。

≥0

ms

1000

workspace_id,endpoint_id

1分钟

连续2个周期原始值 >7200000

提示

如不符合业务资源使用预期,请按以下方式处理:

  • 检查提交中的作业是否存在排队等待(资源不足或集群繁忙),必要时终止长时间未进入运行状态的作业。
  • 联系运维人员处理。

aidatalake_endpoint_spark_max_running_duration_ms

作业运行最大时长

当前端点该时间点运行中的作业最长的持续时间。SparkJob端点:包含运行中;SparkSQL端点:包含运行中。

≥0

ms

1000

workspace_id,endpoint_id

1分钟

NA

NA

NA

相关文档