# 查看Spark端点的资源及作业监控信息
日常运维中，管理员需实时掌握SparkJob端点、SparkSQL端点的资源使用情况和作业状态监控信息。
通过可视化监控，运维人员可以：
- 直观了解端点的资源实时使用情况。
- 直观了解端点的各类作业的数量统计。
- 根据作业状态判断是否需要取消作业运行。
- 分析资源使用趋势，优化资源管理，避免资源浪费或不足。
- 及时发现资源瓶颈或作业异常，保障业务稳定。
#### 查看资源监控
1. 登录[AI DataLake管理控制台](https://console.huaweicloud.com/fabric/)。
2. 在页面左上角切换至对应的工作空间。
3. 在左侧导航栏选择"引擎端点 \> 批处理引擎 Spark"，在端点列表中单击运行作业的端点名称，进入概览页面。
4. 选择"监控"页签，即可查看端点的资源使用情况。 
   表1SparkJob端点、SparkSQL端点监控指标 
   | 监控指标      | 指标名称    | 单位   | 说明               |
   |:---|:---|:---|:---|
   | CPU_SCALE | CPU配额总量 | vCPU | 当前端点可分配的CPU最大限制。 |
   | CPU_USAGE | CPU使用量  | vCPU | 当前端点已使用的CPU量。    |
   | MEM_SCALE | 内存配额总量  | GiB  | 当前端点可分配的内存最大容量。  |
   | MEM_USAGE | 内存使用量   | GiB  | 当前端点已使用的内存量。     |
      
   
   
5. 运维人员可以通过配置监控参数来查看端点资源及作业的实时运行状态，系统提供了灵活的监控配置选项，支持自定义监控数据统计周期、调整页面刷新频率，满足不同场景下的监控需求。 
   设置监控数据统计周期后，在界面右上角可选择"按分钟"、"按小时"或者"按天"的维度查看图表，图表数据会按照所选聚合粒度计算平均值呈现。
   - 监控数据统计周期为近1小时/6小时，监控图表内的数据周期最小为1分钟。
   
   - 监控数据统计周期为近1天/7天，监控图表内的数据周期最小为1小时，图表不支持按分钟呈现。
   
   - 监控数据统计周期为近30天，监控图表内的数据周期最小为1天，图表不支持按分钟或者按小时呈现。
   
   - 自定义监控数据统计周期最大选择30天，超过1天时监控图表内的数据周期最小为1小时，超过7天时监控图表内的数据周期最小为1天。
    
   
   
#### 查看作业监控
1. 登录[AI DataLake管理控制台](https://console.huaweicloud.com/fabric/)。
2. 在页面左上角切换至对应的工作空间。
3. 在左侧导航栏选择"引擎端点 \> 批处理引擎 Spark"，在端点列表中单击运行作业的端点名称，进入概览页面。
4. 选择"监控"页签，即可查看端点的作业运行信息。 
   表2SparkJob端点、SparkSQL端点监控指标 
   | 监控指标                       | 指标名称     | 单位    | 说明                                                                                        |
   |:---|:---|:---|:---|
   | SUBMITTING_JOBS_COUNT      | 提交中作业数   | Count | 当前端点正在提交状态的作业数统计，并计算出作业数的最大值、最小值和平均值。SparkJob端点：包含排队中、启动中；SparkSQL端点：包含排队中。               |
   | RUNNING_JOBS_COUNT         | 运行中作业数   | Count | 当前端点正在运行中的作业数统计，并计算出作业数的最大值、最小值和平均值。SparkJob端点：包含运行中；SparkSQL端点：包含运行中。                    |
   | JOB_SUCCEED_COUNT          | 成功作业数    | Count | 当前端点成功的作业数统计，并计算出作业数的最大值、最小值和平均值。SparkJob端点：包含运行成功；SparkSQL端点：包含运行成功。                     |
   | JOB_FAILED_COUNT           | 失败作业数    | Count | 当前端点失败的作业数统计，并计算出作业数的最大值、最小值和平均值。SparkJob端点：包含运行失败、排队超时、运行超时；SparkSQL端点：包含运行失败、排队超时、运行超时。 |
   | JOB_CANCELED_COUNT         | 已取消作业数   | Count | 当前端点已取消运行的作业数统计，并计算出作业数的最大值、最小值和平均值。SparkJob端点：包含已取消；SparkSQL端点：包含已取消。                    |
   | MAX_SUBMITTING_DURATION_MS | 作业提交最大时长 | ms    | 当前端点该时间点提交中的作业最长的持续时间。SparkJob端点：包含排队中、启动中；SparkSQL端点：包含排队中。                              |
   | MAX_RUNNING_DURATION_MS    | 作业运行最大时长 | ms    | 当前端点该时间点运行中的作业最长的持续时间。SparkJob端点：包含运行中；SparkSQL端点：包含运行中。                                  |
      
   
   
5. 运维人员可以通过配置监控参数来查看端点资源及作业的实时运行状态，系统提供了灵活的监控配置选项，支持自定义监控数据统计周期、调整页面刷新频率，满足不同场景下的监控需求。 
   设置监控数据统计周期后，在界面右上角可选择"按分钟"、"按小时"或者"按天"的维度查看图表，图表数据会按照所选聚合粒度计算平均值呈现。
   - 监控数据统计周期为近1小时/6小时，监控图表内的数据周期最小为1分钟。
   
   - 监控数据统计周期为近1天/7天，监控图表内的数据周期最小为1小时，图表不支持按分钟呈现。
   
   - 监控数据统计周期为近30天，监控图表内的数据周期最小为1天，图表不支持按分钟或者按小时呈现。
   
   - 自定义监控数据统计周期最大选择30天，超过1天时监控图表内的数据周期最小为1小时，超过7天时监控图表内的数据周期最小为1天。