文档首页/ 数据湖探索 DLI/ 用户指南（吉隆坡区域）/ 作业管理/ Flink作业管理/ Flink作业管理概述
更新时间：2022-08-12 GMT+08:00
查看PDF
分享

Flink作业管理概述

在Flink作业管理页面可提交Flink作业。目前有以下作业类型：

  • Flink SQL作业：使用SQL语句定义作业，可以提交到通用队列上。
  • Flink Jar作业：基于Flink API的自定义Jar包作业，可以运行在独享队列上。

Flink作业管理主要包括如下功能：

委托权限设置

DLI执行Flink作业需要进行委托授权，可在第一次登录管理控制台时进行设置，也可在“全局配置”>“服务授权”中进行修改。

具体权限如下：

  • Tenant Administrator(全局服务)：DLI Flink作业访问和使用OBS或者DWS数据源、日志转储（包括桶授权）、开启checkpoint、作业导入导出等，需要获得访问和使用OBS（对象存储服务）的Tenant Administrator权限。

    由于云服务缓存需要时间，该权限60分钟左右才能生效。

  • DIS Administrator：DLI Flink作业访问和使用DIS数据源，需要获得访问和使用DIS（数据接入服务）的DIS Administrator权限。

    由于云服务缓存需要时间，该权限30分钟左右才能生效。

  • CloudTable Administrator：DLI Flink作业访问和使用CloudTable数据源，需要获得访问和使用CloudTable（表格存储服务）的CloudTable Administrator权限。

    由于云服务缓存需要时间，该权限3分钟左右才能生效。

  • Tenant Administrator(项目级)：使用其他必须具有Tenant Administrator权限才能运行的服务也需要获得该权限。

    由于云服务缓存需要时间，该权限3分钟左右才能生效。

作业管理页面

在总览页面单击“Flink作业”简介，或在左侧导航栏单击“作业管理”>“Flink作业”，可进入Flink作业管理页面。Flink作业管理页面显示所有的Flink作业，作业数量较多时，系统分页显示，您可以查看任何状态下的作业。

表1 作业管理参数

参数

参数说明

ID

所提交Flink作业的ID，由系统默认生成。

名称

所提交Flink作业的名称。

类型

所提交Flink作业的类型。包括：

  • Flink SQL：Flink SQL作业
  • Flink Jar：Flink Jar作业

状态

作业的状态信息，包括：

  • 草稿
  • 提交中
  • 提交失败
  • 运行中（提交作业后，返回正常结果）
  • 运行异常（作业发生运行时异常，停止运行作业）
  • 下载中
  • 空闲
  • 停止中
  • 已停止
  • 停止失败
  • 保存点创建中
  • 已完成

描述

所提交Flink作业的描述。

用户名

提交作业的用户名称。

创建时间

每个作业的创建时间。

开始时间

Flink作业开始运行的时间。

运行时长

作业运行所消耗的时间。

操作
  • 编辑：编辑已经创建好的作业。具体请参见编辑作业。
  • 启动：启动作业并运行。具体请参见启动作业。
  • 更多
    • FlinkUI：单击后，将跳转至Flink任务运行情况界面。
      说明：

      如果是新建队列，在该队列提交作业后，如果立即单击FlinkUI，因为后台大约需要10分钟创建集群，会导致缓存空的projectID，从而导致无法查看FlinkUI。

      建议作业选择使用专属队列，后台集群不会被释放，避免上述问题产生。或者等待作业运行中时再查看FlinkUI，确保集群已经拉好了，不要立即单击FlinkUI。

    • 停止：停止Flink作业。如果该功能置灰，表示当前状态的作业不支持停止。
    • 删除：删除作业。
      说明：

      作业删除后不可恢复，请谨慎操作。

    • 名称和描述修改：修改作业名称和描述。具体请参考名称和描述修改。
    • 导入保存点：导入原实时流计算服务作业导出的数据。具体请参考导入保存点。
    • 触发保存点：“运行中”的作业可以“触发保存点”，保存作业的状态信息。具体请参考触发保存点。
    • 权限管理：查看作业对应的用户权限信息以及对其他用户授权。具体请参考Flink作业权限管理。
    • 运行时配置：支持作业在运行时配置作业异常告警和异常自动重启。具体请参考运行时配置。
父主题： Flink作业管理