查看Spark UI
Spark作业运行过程中,作业的执行阶段、任务分配、资源使用等运行信息分散在集群各节点中,您难以直观掌握作业整体运行情况。通过Spark UI,您可以以Web界面的形式实时查看作业的DAG执行图、Stage和Task详情、Executor资源使用情况及SQL执行计划等信息,从而可以高效地进行作业监控、性能瓶颈分析和资源调优。
Spark UI是用于展示Spark应用运行状态的Web界面,主要包含以下模块:
- Jobs - 作业视图
- Stages - 阶段视图
- Storage - 存储视图
- Environment - 环境配置
- Executors - 执行器信息
- Gluten SQL/DataFrame - 优化后的执行计划详情
- SQL/DataFrame - SQL查询执行详情
根据作业状态不同,查看Spark UI的途径如下:
注意事项
- 请勿清理存储在OBS上原作业的eventLog路径的数据,否则看不到Spark UI。以下路径均不能清理:
- obs://{endpoint_user_bucket}/aidatalake/workspace_{workspaceid}/spark/endpoint_{endpointId}/archive/xxx
- obs://{endpoint_user_bucket}/aidatalake/workspace_{workspaceid}/spark/endpoint_{endpointId}/running/jobs/staging/xxx
- 历史作业运行使用端点配置的委托,该委托需要有eventLog所在的OBS桶和目录的只读权限。
- API方式只支持重新提交一个历史作业,endpoint需要填写为SparkJob的endpoint。
- 查看历史作业UI时,系统会在后台以SparkJob形式启动一个SHS作业,该作业在Spark作业列表中可见,名称形如“{endpoint名称}_historyServer”。该作业空闲一段时间(默认15分钟)后会自动结束,您也可在作业列表中手动停止它。
查看运行作业的Spark UI
- 登录AI DataLake管理控制台。
- 在“作业开发”>“作业运行历史”页面,单击“批处理引擎Spark”。
- 在作业列表上方,切换作业类型为“SparkSQL”或“SparkJob”。
- 通过以下任意方式进入Spark UI页面。
- 在目标作业“操作”列,单击“Spark UI”。
- 单击目标作业名称,在“作业运行详情”页面,单击底部的“Spark UI”。
查看历史作业的SparkHistoryUI
对于已完成执行的Spark作业,由于Serverless架构下作业结束后计算实例会被立即释放,原生的Spark UI随之消失。AI DataLake通过引入Spark History Server(简称SHS),重放作业的eventLog,使您依然可以查看已完成作业的历史Web UI。
您可以通过以下两种途径查看历史作业的SparkHistoryUI,两种方式的区别如下表所示。
| 对比项 | 方式一:控制台方式 | 方式二:API方式 |
|---|---|---|
| 适用场景 | 日常查看已完成作业的历史UI。 | eventLog较大、需自定义driver磁盘等特殊场景。 |
| 操作入口 | 控制台作业列表中单击“Spark UI”。 | 调用RunSparkJob API提交历史作业。 |
| SHS启动 | 系统自动启动并复用,无需手动干预。 | 需手动提交作业并指定历史作业参数。 |
| 资源/参数配置 | 由系统自动分配,无需配置。 | 可手动指定driver磁盘大小等参数。 |
- 方式一:控制台方式
- 登录AI DataLake管理控制台。
- 在“作业开发”>“作业运行历史”页面,单击“批处理引擎Spark”。
- 在SparkJob作业列表上方,切换作业类型为SparkSQL或SparkJob。
- 找到已完成的目标作业,通过以下任意方式进入历史Spark UI页面。
- 在目标作业“操作”列,单击“Spark UI”。
- 单击目标作业名称,在“作业运行详情”页面,单击底部的“Spark UI”。
- 根据作业类型,按如下交互完成查看:
- SparkJob:系统自动为您加载该作业的历史Spark UI,无需额外操作。
- SparkSQL:若系统首次为该endpoint加载历史UI,控制台会弹出“选择端点”的提示,您需要选择一个SparkJob 端点后,单击“确认”。系统会在该端点上为您加载历史作业。
历史UI加载期间,页面显示“历史服务加载中”并自动轮询,请耐心等待;加载完成后,页面自动展示历史Spark UI。若超过等待上限(默认5分钟)仍未就绪,系统会提示超时,请稍后重试或检查eventLog是否完整。
- 方式二:API方式 您也可以通过API方式重新提交一个历史作业来查看SparkHistoryUI,并在提交时配置相关参数。
- 通过API方式提交作业,详情请参见启动Spark作业 - RunSparkJob。
在提交时,SparkJob和SparkSQL作业支持的参数如下表所示。
表2 参数说明 参数
说明
execution_mode
执行模式,固定值为batch。
name
作业名称。
type
作业类型。
history作业都是基于spark_jar_job作业类型的sparkjob运行的。
- SparkJob:spark.aidatalake.history.jobId
- SparkSQL:spark.aidatalake.history.statementId
二选一,原Job作业的jobId或原SQL作业的statementId。
可以在AI DataLake控制台进行查看。
endpoint_name
endpoint名称,需要填写为SparkJob的endpoint。
代码示例如下。
- SparkJob
{ "execution_mode": "batch", "name": "history-server-job", "job_config": { "type": "spark_jar_job" }, "spark_config": { "spark.aidatalake.history.jobId": "原Job作业的jobId" }, "endpoint_name": "endpoint名称" } - SparkSQL
{ "execution_mode": "batch", "name": "history-server-sql", "job_config": { "type": "spark_jar_job" }, "spark_config": { "spark.aidatalake.history.statementId": "原SQL作业的statementId" }, "endpoint_name": "endpoint名称" }
- 在AI DataLake控制台查看Spark UI。
- 登录AI DataLake管理控制台。
- 在“作业开发”>“作业运行历史”页面,单击“批处理引擎Spark”。
- 在Spark作业列表上方,切换作业类型为SparkJob。
- 通过以下任意方式进入Spark UI页面。
- 在目标作业“操作”列,单击“Spark UI”。
- 单击目标作业名称,在“作业运行详情”页面,单击底部的“Spark UI”。
- 通过API方式提交作业,详情请参见启动Spark作业 - RunSparkJob。