
# 查看Web UI
Spark作业运行过程中，作业的执行阶段、任务分配、资源使用等运行信息分散在集群各节点中，您难以直观掌握作业整体运行情况。通过Web UI，您可以以Web界面的形式实时查看作业的DAG执行图、Stage和Task详情、Executor资源使用情况及SQL执行计划等信息，从而可以高效地进行作业监控、性能瓶颈分析和资源调优。
**Web UI**是用于展示Spark应用运行状态的Web界面，主要包含以下模块：
- **Jobs** - 作业视图
- **Stages** - 阶段视图
- **Storage** - 存储视图
- **Environment** - 环境配置
- **Executors** - 执行器信息
- **Gluten SQL** **/DataFrame** - 优化后的执行计划详情
- **SQL/DataFrame** - SQL查询执行详情
#### 注意事项
- 历史作业运行使用端点配置的委托，该委托需要有eventLog所在的obs桶和目录的权限。
- API方式只支持重新提交一个历史作业，endpoint需要填写为SparkJob的endpoint。
- 新起的SparkHistoryUI的Job作业会一直保持运行中，直到运行失败或者用户主动取消才会结束。
 
#### 查看运行作业的Web UI
1. 登录[AI DataLake管理控制台](https://console.huaweicloud.com/fabric/)。
2. 在"作业开发"\>"作业运行历史"页面，单击"批处理引擎Spark"。
3. 在SparkJob作业列表上方，切换作业类型为SparkSQL或SparkJob。
4. 通过以下任意方式进入Web UI页面。
   - 在目标作业"操作"列，单击"Web UI"。
   
   - 单击目标作业名称，在"作业运行详情"页面，单击底部的"Web UI"。
    
 
#### 查看历史作业的SparkHistoryUI
对于已完成执行的Spark作业，无法直接访问其Web UI页面。但您可以通过API重新提交作业的方式查看SparkHistoryUI，并在提交时配置相关参数。
1. 通过API方式提交作业，详情请参见[启动Spark作业 - RunSparkJob](https://support.huaweicloud.com/api-aidatalake/RunSparkJob.html)。
   
   在提交时，SparkJob和SparkSQL作业支持的参数如下表所示。
   表1参数说明 
   | 参数                                                                                                                                                                                                                                                                      | 说明                                                                                               |
   |:---|:---|
   | execution_mode                                                                                                                                                                                                                                                          | 执行模式，固定值为batch。                                                                                  |
   | name                                                                                                                                                                                                                                                                    | 作业名称。                                                                                            |
   | type                                                                                                                                                                                                                                                                    | 作业类型。                                                                                            |
   | - spark.aidatalake.history.jobId  - spark.aidatalake.history.statementId   | 二选一，原Job作业的jobId或原SQL作业的statementId。 可以在AI DataLake控制台进行查看。 |
   | endpoint_name                                                                                                                                                                                                                                                           | endpoint名称，需要填写为SparkJob的endpoint。                                                               |
      
   代码示例如下。
   - SparkJob
     ```
     {
         "execution_mode": "batch",
         "name": "history-server-job",
         "job_config": {
             "type": "spark_jar_job"
         },
         "spark_config": {
             "spark.aidatalake.history.jobId": "原Job作业的jobId"
         },
         "endpoint_name": "endpoint名称"   
     }
     ```
     
   
   - SparkSQL
     ```
     {
         "execution_mode": "batch",
         "name": "history-server-sql",
         "job_config": {
             "type": "spark_jar_job"
         },
         "spark_config": {
             "spark.aidatalake.history.statementId": "原SQL作业的statementId"
         },
         "endpoint_name": "endpoint名称"
     }
     ```
     
   
   
   
   
2. 在AI DataLake控制台查看Web UI。 
   1. 登录[AI DataLake管理控制台](https://console.huaweicloud.com/fabric/)。
   
   2. 在"作业开发"\>"作业运行历史"页面，单击"批处理引擎Spark"。
   
   3. 在Spark作业列表上方，切换作业类型为SparkJob。
   
   4. 通过以下任意方式进入Web UI页面。
      - 在目标作业"操作"列，单击"Web UI"。
      
      - 单击目标作业名称，在"作业运行详情"页面，单击底部的"Web UI"。
       
   
   
   
   
 
