查看Spark UI

注意事项

• 历史作业运行使用端点配置的委托，该委托需要有eventLog所在的obs桶和目录的权限。
• API方式只支持重新提交一个历史作业，endpoint需要填写为SparkJob的endpoint。
• 新起的SparkHistoryUI的Job作业会一直保持运行中，直到运行失败或者用户主动取消下才会结束。

查看运行作业的Spark UI

1. 登录AI DataLake管理控制台。
2. 在“作业开发”>“作业运行历史”页面，单击“批处理引擎Spark”。
3. 在SparkJob作业列表上方，切换作业类型为SparkSQL或SparkJob。
4. 单击目标作业名称，在“作业运行详情”页面，单击底部的“Spark UI”。

查看历史作业的SparkHistoryUI

对于已完成执行的Spark作业，无法直接访问其Spark UI页面。但您可以通过API重新提交作业的方式查看SparkHistoryUI，并在提交时配置相关参数。

1. 通过API方式提交作业，详情请参见启动Spark作业 - RunSparkJob。

   在提交时，SparkJob和SparkSQL作业支持的参数如下表所示。

   表1 参数说明

   参数	说明
   execution_mode	执行模式，固定值为batch。
   name	作业名称。
   type	作业类型。
   spark.aidatalake.history.jobId spark.aidatalake.history.statementId	二选一，原Job作业的jobId或原SQL作业的statementId。 可以在AI DataLake控制台进行查看。
   endpoint_name	endpoint名称，需要填写为SparkJob的endpoint。

   代码示例如下。

   • SparkJob

     {
         "execution_mode": "batch",
         "name": "history-server-job",
         "job_config": {
             "type": "spark_jar_job"
         },
         "spark_config": {
             "spark.aidatalake.history.jobId": "原Job作业的jobId"
         },
         "endpoint_name": "endpoint名称"   
     }

   • SparkSQL

     {
         "execution_mode": "batch",
         "name": "history-server-sql",
         "job_config": {
             "type": "spark_jar_job"
         },
         "spark_config": {
             "spark.aidatalake.history.statementId": "原SQL作业的statementId"
         },
         "endpoint_name": "endpoint名称"
     }

2. 在AI DataLake控制台查看Spark UI。
   1. 登录AI DataLake管理控制台。
   2. 在“作业开发”>“作业运行历史”页面，单击“批处理引擎Spark”。
   3. 在Spark作业列表上方，切换作业类型为SparkJob。
   4. 单击目标作业名称，在“作业运行详情”页面，单击底部的“Spark UI”。