更新时间:2026-11-13 GMT+08:00
分享

查看Spark UI

Spark作业运行过程中,作业的执行阶段、任务分配、资源使用等运行信息分散在集群各节点中,您难以直观掌握作业整体运行情况。通过Spark UI,您可以以Web界面的形式实时查看作业的DAG执行图、Stage和Task详情、Executor资源使用情况及SQL执行计划等信息,从而可以高效地进行作业监控、性能瓶颈分析和资源调优。

Spark UI是用于展示Spark应用运行状态的Web界面,主要包含以下模块:

  • Jobs - 作业视图
  • Stages - 阶段视图
  • Storage - 存储视图
  • Environment - 环境配置
  • Executors - 执行器信息
  • Gluten SQL/DataFrame - 优化后的执行计划详情
  • SQL/DataFrame - SQL查询执行详情

根据作业状态不同,查看Spark UI的途径如下:

注意事项

  • 请勿清理存储在OBS上原作业的eventLog路径的数据,否则看不到Spark UI。以下路径均不能清理:
    • obs://{endpoint_user_bucket}/aidatalake/workspace_{workspaceid}/spark/endpoint_{endpointId}/archive/xxx
    • obs://{endpoint_user_bucket}/aidatalake/workspace_{workspaceid}/spark/endpoint_{endpointId}/running/jobs/staging/xxx
  • 历史作业运行使用端点配置的委托,该委托需要有eventLog所在的OBS桶和目录的只读权限。
  • API方式只支持重新提交一个历史作业,endpoint需要填写为SparkJob的endpoint。
  • 查看历史作业UI时,系统会在后台以SparkJob形式启动一个SHS作业,该作业在Spark作业列表中可见,名称形如“{endpoint名称}_historyServer”。该作业空闲一段时间(默认15分钟)后会自动结束,您也可在作业列表中手动停止它。

查看运行作业的Spark UI

  1. 登录AI DataLake管理控制台。
  2. 在“作业开发”>“作业运行历史”页面,单击“批处理引擎Spark”。
  3. 在作业列表上方,切换作业类型为“SparkSQL”或“SparkJob”。
  4. 通过以下任意方式进入Spark UI页面。
    • 在目标作业“操作”列,单击“Spark UI”。
    • 单击目标作业名称,在“作业运行详情”页面,单击底部的“Spark UI”。

查看历史作业的SparkHistoryUI

对于已完成执行的Spark作业,由于Serverless架构下作业结束后计算实例会被立即释放,原生的Spark UI随之消失。AI DataLake通过引入Spark History Server(简称SHS),重放作业的eventLog,使您依然可以查看已完成作业的历史Web UI。

您可以通过以下两种途径查看历史作业的SparkHistoryUI,两种方式的区别如下表所示。

表1 两种查看方式对比

对比项

方式一:控制台方式

方式二:API方式

适用场景

日常查看已完成作业的历史UI。

eventLog较大、需自定义driver磁盘等特殊场景。

操作入口

控制台作业列表中单击“Spark UI”。

调用RunSparkJob API提交历史作业。

SHS启动

系统自动启动并复用,无需手动干预。

需手动提交作业并指定历史作业参数。

资源/参数配置

由系统自动分配,无需配置。

可手动指定driver磁盘大小等参数。

  • 方式一:控制台方式
    1. 登录AI DataLake管理控制台。
    2. 在“作业开发”>“作业运行历史”页面,单击“批处理引擎Spark”。
    3. 在SparkJob作业列表上方,切换作业类型为SparkSQL或SparkJob。
    4. 找到已完成的目标作业,通过以下任意方式进入历史Spark UI页面。
      • 在目标作业“操作”列,单击“Spark UI”。
      • 单击目标作业名称,在“作业运行详情”页面,单击底部的“Spark UI”。
    5. 根据作业类型,按如下交互完成查看:
      • SparkJob:系统自动为您加载该作业的历史Spark UI,无需额外操作。
      • SparkSQL:若系统首次为该endpoint加载历史UI,控制台会弹出“选择端点”的提示,您需要选择一个SparkJob 端点后,单击“确认”。系统会在该端点上为您加载历史作业。

        历史UI加载期间,页面显示“历史服务加载中”并自动轮询,请耐心等待;加载完成后,页面自动展示历史Spark UI。若超过等待上限(默认5分钟)仍未就绪,系统会提示超时,请稍后重试或检查eventLog是否完整。

  • 方式二:API方式
    您也可以通过API方式重新提交一个历史作业来查看SparkHistoryUI,并在提交时配置相关参数。
    1. 通过API方式提交作业,详情请参见启动Spark作业 - RunSparkJob。

      在提交时,SparkJob和SparkSQL作业支持的参数如下表所示。

      表2 参数说明

      参数

      说明

      execution_mode

      执行模式,固定值为batch。

      name

      作业名称。

      type

      作业类型。

      history作业都是基于spark_jar_job作业类型的sparkjob运行的。

      • SparkJob:spark.aidatalake.history.jobId
      • SparkSQL:spark.aidatalake.history.statementId

      二选一,原Job作业的jobId或原SQL作业的statementId。

      可以在AI DataLake控制台进行查看。

      endpoint_name

      endpoint名称,需要填写为SparkJob的endpoint。

      代码示例如下。

      1. SparkJob
        {
            "execution_mode": "batch",
            "name": "history-server-job",
            "job_config": {
                "type": "spark_jar_job"
            },
            "spark_config": {
                "spark.aidatalake.history.jobId": "原Job作业的jobId"
            },
            "endpoint_name": "endpoint名称"   
        }
      2. SparkSQL
        {
            "execution_mode": "batch",
            "name": "history-server-sql",
            "job_config": {
                "type": "spark_jar_job"
            },
            "spark_config": {
                "spark.aidatalake.history.statementId": "原SQL作业的statementId"
            },
            "endpoint_name": "endpoint名称"
        }
    2. 在AI DataLake控制台查看Spark UI。
      1. 登录AI DataLake管理控制台。
      2. 在“作业开发”>“作业运行历史”页面,单击“批处理引擎Spark”。
      3. 在Spark作业列表上方,切换作业类型为SparkJob。
      4. 通过以下任意方式进入Spark UI页面。
        1. 在目标作业“操作”列,单击“Spark UI”。
        2. 单击目标作业名称,在“作业运行详情”页面,单击底部的“Spark UI”。

相关文档