文档首页 > > 用户指南> 作业管理> Spark作业管理> Spark作业管理概述

Spark作业管理概述

分享
更新时间: 2020/05/12 GMT+08:00

Spark作业管理主要包括如下功能:

以及查看“使用指南”和“使用视频”。

作业管理页面

在总览页面单击“Spark作业”简介,或在左侧导航栏单击“作业管理”>“Spark作业”,可进入Spark作业管理页面。Spark作业管理页面显示所有的Spark作业,作业数量较多时,系统分页显示,您可以查看任何状态下的作业。

作业执行成功后,作业记录只保存6小时。

表1 作业管理参数

参数

参数说明

作业ID

所提交Spark作业的ID,由系统默认生成。

作业名称

所提交Spark作业的名称。

执行用户

执行Spark作业的用户名称。

作业状态

作业的状态信息,包括如下。

  • 启动中:正在启动
  • 运行中:正在执行任务
  • 已失败:session已退出
  • 已成功:session运行成功
  • 恢复中:正在恢复任务

所属队列

所提交Spark作业所在的队列。

创建时间

每个作业的创建时间,可按创建时间顺序或倒序显示作业列表。

最后修改时间

作业运行完成的时间。

操作

  • 编辑:可修改当前作业配置,重新执行作业。
  • SparkUI:单击后,将跳转至Spark任务运行情况界面。
    说明:

    状态为“启动中”的作业不能查看SparkUI界面。

  • 终止作业:取消当前作业。
  • 提交日志:查看提交作业的日志。
  • 运行日志:查看运行作业的日志。
  • 导出日志:将日志导出至OBS桶中。当作业状态在“运行中”时,不能导出日志。

重新执行作业

“Spark作业”页面,单击对应作业“操作”列中的“编辑”,跳转至“Spark作业编辑”页面,可根据需要修改参数,执行作业。

查找作业

“Spark作业”页面,选择“作业状态”或“所属队列”。系统将根据设置的过滤条件,在作业列表显示符合对应条件的作业。

终止作业

“Spark作业”页面,单击对应作业“操作”列中的“更多”>“终止作业”,可停止运行该作业。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问