查看Spark端点的资源及作业监控信息

操作步骤

1. 登录AI DataLake管理控制台。
2. 在页面左上角切换至对应的工作空间。
3. 在左侧导航栏选择“引擎端点 > 批处理引擎 Spark”，在端点列表中单击运行作业的端点名称，进入概览页面。
4. 选择“监控”页签，即可查看端点的资源使用情况及作业运行信息。

   表1 SparkJob端点、SparkSQL端点监控指标

   分类	监控指标	指标名称	单位	说明
   资源监控	CPU_SCALE	CPU配额总量	vCPU	当前端点可分配的CPU最大限制。
   	CPU_USAGE	CPU使用量	vCPU	当前端点已使用的CPU量。
   	MEM_SCALE	内存配额总量	GiB	当前端点可分配的内存最大容量。
   	MEM_USAGE	内存使用量	GiB	当前端点已使用的内存量。
   作业监控	SUBMITTING_JOBS_COUNT	提交中作业数	Count	当前端点正在提交状态的作业数统计，并计算出作业数的最大值、最小值和平均值。SparkJob端点：包含排队中、启动中；SparkSQL端点：包含排队中。
   	RUNNING_JOBS_COUNT	运行中作业数	Count	当前端点正在运行中的作业数统计，并计算出作业数的最大值、最小值和平均值。SparkJob端点：包含运行中；SparkSQL端点：包含运行中。
   	JOB_SUCCEED_COUNT	成功作业数	Count	当前端点成功的作业数统计，并计算出作业数的最大值、最小值和平均值。SparkJob端点：包含运行成功；SparkSQL端点：包含运行成功。
   	JOB_FAILED_COUNT	失败作业数	Count	当前端点失败的作业数统计，并计算出作业数的最大值、最小值和平均值。SparkJob端点：包含运行失败、排队超时、运行超时；SparkSQL端点：包含运行失败、排队超时、运行超时。
   	JOB_CANCELED_COUNT	已取消作业数	Count	当前端点已取消运行的作业数统计，并计算出作业数的最大值、最小值和平均值。SparkJob端点：包含已取消；SparkSQL端点：包含已取消。
   	MAX_SUBMITTING_DURATION_MS	作业提交最大时长	ms	当前端点该时间点提交中的作业最长的持续时间。SparkJob端点：包含排队中、启动中；SparkSQL端点：包含排队中。
   	MAX_RUNNING_DURATION_MS	作业运行最大时长	ms	当前端点该时间点运行中的作业最长的持续时间。SparkJob端点：包含运行中；SparkSQL端点：包含运行中。

5. 运维人员可以通过配置监控参数来查看端点资源及作业的实时运行状态，系统提供了灵活的监控配置选项，支持自定义监控数据统计周期、调整页面刷新频率，满足不同场景下的监控需求。
   设置监控数据统计周期后，在界面右上角可选择“按分钟”、“按小时”或者“按天”的维度查看图表，图表数据会按照所选聚合粒度计算平均值呈现。

   • 监控数据统计周期为近1小时/6小时，监控图表内的数据周期最小为1分钟。
   • 监控数据统计周期为近1天/7天，监控图表内的数据周期最小为1小时，图表不支持按分钟呈现。
   • 监控数据统计周期为近30天，监控图表内的数据周期最小为1天，图表不支持按分钟或者按小时呈现。
   • 自定义监控数据统计周期最大选择30天，超过1天时监控图表内的数据周期最小为1小时，超过7天时监控图表内的数据周期最小为1天。