文档首页/ 数据湖探索 DLI/ 用户指南/ 使用DLI提交Spark作业/ 管理Spark作业管理
更新时间：2024-09-27 GMT+08:00
查看PDF
分享

管理Spark作业管理

查看Spark作业的基本信息

在总览页面单击“Spark作业”简介，或在左侧导航栏单击“作业管理”>“Spark作业”，可进入Spark作业管理页面。Spark作业管理页面显示所有的Spark作业，作业数量较多时，系统分页显示，您可以查看任何状态下的作业。

表1 作业管理参数

参数

参数说明

作业ID

所提交Spark作业的ID，由系统默认生成。

名称

所提交Spark作业的名称。

队列

所提交Spark作业所在的队列。

用户名

执行Spark作业的用户名称。

状态

作业的状态信息，包括如下。

  • 启动中：正在启动
  • 运行中：正在执行任务
  • 已失败：session已退出
  • 已成功：session运行成功
  • 恢复中：正在恢复任务

创建时间

每个作业的创建时间，可按创建时间顺序或倒序显示作业列表。

最后修改时间

作业运行完成的时间。

操作
  • 编辑：可修改当前作业配置，重新执行作业。
  • SparkUI：单击后，将跳转至Spark任务运行情况界面。
    说明：
    • 状态为“启动中”的作业不能查看SparkUI界面。
    • 目前DLI配置SparkUI只展示最新的100条作业信息。
  • 终止作业：终止启动中和运行中的作业。
  • 重新执行：重新运行该作业。
  • 归档日志：将作业日志保存到系统创建的DLI临时数据桶中。
  • 提交日志：查看提交作业的日志。
  • Driver日志：查看运行作业的日志。

重新执行作业

在“Spark作业”页面，单击对应作业“操作”列中的“编辑”，跳转至“Spark作业编辑”页面，可根据需要修改参数，执行作业。

查找作业

在“Spark作业”页面，选择“状态”或“队列”。系统将根据设置的过滤条件，在作业列表显示符合对应条件的作业。

终止作业

在“Spark作业”页面，单击对应作业“操作”列中的“更多”>“终止作业”，可停止启动中和运行中的作业。