更新时间:2026-11-17 GMT+08:00
分享

Spark端点资源监控与作业监控

日常运维中,管理员需实时掌握SparkJob端点、SparkSQL端点的资源使用情况和作业状态监控信息。

通过可视化监控,运维人员可以:

  • 直观了解端点的资源实时使用情况。
  • 直观了解端点的各类作业的数量统计。
  • 根据作业状态判断是否需要取消作业运行。
  • 分析资源使用趋势,优化资源管理,避免资源浪费或不足。
  • 及时发现资源瓶颈或作业异常,保障业务稳定。

查看资源监控

  1. 登录AI DataLake管理控制台。
  2. 在页面左上角切换至对应的工作空间。
  3. 在左侧导航栏选择“引擎端点 > 批处理引擎Spark”,在端点列表中单击运行作业的端点名称,进入概览页面。
  4. 选择“监控”页签,即可查看端点的资源使用情况。

    表1 SparkJob端点、SparkSQL端点资源指标

    指标ID

    指标名称

    指标含义

    取值范围

    单位

    进制

    维度

    监控周期

    告警阈值

    告警级别

    处理建议

    aidatalake_endpoint_spark_cpu_used

    CPU使用量

    当前端点所有作业实际已使用的CPU量。

    ≥0

    核(Core)

    不涉及

    workspace_id,endpoint_id

    1分钟

    NA

    NA

    NA

    aidatalake_endpoint_spark_cpu_quota_max

    CPU配额总量

    当前端点创建时配置的CPU总量。

    ≥0

    核(Core)

    不涉及

    workspace_id,endpoint_id

    1分钟

    NA

    NA

    NA

    aidatalake_endpoint_spark_cpu_usage

    CPU使用率

    当前端点所有作业CPU资源的使用率。

    0~100

    百分比(%)

    不涉及

    workspace_id,endpoint_id

    1分钟

    连续2个周期 原始值 > 95%

    提示

    如不符合业务资源使用预期,请按以下方式处理:
    • 查业务负载是否过高、是否存在异常作业或进程导致 CPU争抢;如持续偏高,建议调整作业并行度/资源配置,或扩容端点计算规格。
    • 联系运维人员处理。

    aidatalake_endpoint_spark_cpu_allocated

    CPU分配量

    当前端点所有作业实时已分配的CPU量。

    ≥0

    核(Core)

    不涉及

    workspace_id, endpoint_id

    1分钟

    NA

    NA

    NA

    aidatalake_endpoint_spark_memory_used

    内存使用量

    当前端点所有作业实际已使用的内存量。

    ≥0

    兆字节(MB)

    1024

    workspace_id,endpoint_id

    1分钟

    NA

    NA

    NA

    aidatalake_endpoint_spark_memory_quota_max

    内存配额总量

    当前端点可使用的内存最大容量。

    ≥0

    兆字节(MB)

    1024

    workspace_id,endpoint_id

    1分钟

    NA

    NA

    NA

    aidatalake_endpoint_spark_memory_usage

    内存使用率

    当前端点所有作业内存资源的使用率。

    0~100

    百分比(%)

    不涉及

    workspace_id,endpoint_id

    1分钟

    连续2个周期 原始值 > 95%

    提示

    如不符合业务资源使用预期,请按以下方式处理:
    • 请检查作业内存配置与使用情况,排查是否存在内存泄漏或内存参数设置不当;如持续偏高,建议调大端点内存资源规格或优化作业配置。
    • 联系运维人员处理。

    aidatalake_endpoint_spark_memory_allocated

    内存分配量

    当前端点所有作业实时已分配的内存量。

    ≥0

    兆字节(MB)

    1024

    workspace_id, endpoint_id

    1分钟

    NA

    NA

    NA

  5. 运维人员可以通过配置监控参数来查看端点资源及作业的实时运行状态,系统提供了灵活的监控配置选项,支持自定义监控数据统计周期、调整页面刷新频率,满足不同场景下的监控需求。

    设置监控数据统计周期后,在界面右上角可选择“按分钟”、“按小时”或者“按天”的维度查看图表,图表数据会按照所选聚合粒度计算平均值呈现。
    • 监控数据统计周期为近1小时/6小时,监控图表内的数据周期最小为1分钟。
    • 监控数据统计周期为近1天/7天,监控图表内的数据周期最小为1小时,图表不支持按分钟呈现。
    • 监控数据统计周期为近30天,监控图表内的数据周期最小为1天,图表不支持按分钟或者按小时呈现。
    • 自定义监控数据统计周期最大选择30天,超过1天时监控图表内的数据周期最小为1小时,超过7天时监控图表内的数据周期最小为1天。

查看作业监控

  1. 登录AI DataLake管理控制台。
  2. 在页面左上角切换至对应的工作空间。
  3. 在左侧导航栏选择“引擎端点 > 批处理引擎Spark”,在端点列表中单击运行作业的端点名称,进入概览页面。
  4. 选择“监控”页签,即可查看端点的作业运行信息。

    表2 SparkJob端点、SparkSQL端点作业指标

    指标ID

    指标名称

    指标含义

    取值范围

    单位

    进制

    维度

    监控周期

    告警阈值

    告警级别

    处理建议

    aidatalake_endpoint_spark_submitting_jobs_count

    提交中作业数

    当前端点正在提交状态的作业数统计,并计算出作业数的最大值、最小值和平均值。

    ≥0

    Count

    不涉及

    workspace_id,endpoint_id

    1分钟

    连续2个周期原始值>20

    提示

    如不符合业务资源使用预期,请按以下方式处理:

    • 检查是否存在批量提交或作业积压,减少并发提交的作业数,待提交中的作业流转完成后再继续提交。
    • 联系运维人员处理。

    aidatalake_endpoint_spark_running_jobs_count

    运行中作业数

    当前端点正在运行中的作业数统计,并计算出作业数的最大值、最小值和平均值。

    ≥0

    Count

    不涉及

    workspace_id,endpoint_id

    1分钟

    NA

    NA

    NA

    aidatalake_endpoint_spark_completed_jobs_count

    成功作业数

    当前端点成功的作业数统计,并计算出作业数的最大值、最小值和平均值。

    ≥0

    Count

    不涉及

    workspace_id,endpoint_id

    1分钟

    NA

    NA

    NA

    aidatalake_endpoint_spark_failed_jobs_count

    失败作业数

    当前端点失败的作业数统计,并计算出作业数的最大值、最小值和平均值。

    ≥0

    Count

    不涉及

    workspace_id,endpoint_id

    1分钟

    NA

    NA

    NA

    aidatalake_endpoint_spark_cancelled_jobs_count

    已取消作业数

    当前端点已取消运行的作业数统计,并计算出作业数的最大值、最小值和平均值。SparkJob端点:包含已取消;SparkSQL端点:包含已取消。

    ≥0

    Count

    不涉及

    workspace_id,endpoint_id

    1分钟

    NA

    NA

    NA

    aidatalake_endpoint_spark_max_submitting_duration_ms

    作业提交最大时长

    当前端点该时间点提交中的作业最长的持续时间。SparkJob端点:包含排队中、启动中;SparkSQL端点:包含排队中。

    ≥0

    ms

    1000

    workspace_id,endpoint_id

    1分钟

    连续2个周期原始值 >7200000

    提示

    如不符合业务资源使用预期,请按以下方式处理:

    • 检查提交中的作业是否存在排队等待(资源不足或集群繁忙),必要时终止长时间未进入运行状态的作业。
    • 联系运维人员处理。

    aidatalake_endpoint_spark_max_running_duration_ms

    作业运行最大时长

    当前端点该时间点运行中的作业最长的持续时间。SparkJob端点:包含运行中;SparkSQL端点:包含运行中。

    ≥0

    ms

    1000

    workspace_id,endpoint_id

    1分钟

    NA

    NA

    NA

  5. 运维人员可以通过配置监控参数来查看端点资源及作业的实时运行状态,系统提供了灵活的监控配置选项,支持自定义监控数据统计周期、调整页面刷新频率,满足不同场景下的监控需求。

    设置监控数据统计周期后,在界面右上角可选择“按分钟”、“按小时”或者“按天”的维度查看图表,图表数据会按照所选聚合粒度计算平均值呈现。
    • 监控数据统计周期为近1小时/6小时,监控图表内的数据周期最小为1分钟。
    • 监控数据统计周期为近1天/7天,监控图表内的数据周期最小为1小时,图表不支持按分钟呈现。
    • 监控数据统计周期为近30天,监控图表内的数据周期最小为1天,图表不支持按分钟或者按小时呈现。
    • 自定义监控数据统计周期最大选择30天,超过1天时监控图表内的数据周期最小为1小时,超过7天时监控图表内的数据周期最小为1天。

相关文档