更新时间:2022-08-12 GMT+08:00

Flink作业管理概述

在Flink作业管理页面可提交Flink作业。目前有以下作业类型:

  • Flink SQL作业:使用SQL语句定义作业,可以提交到通用队列上。
  • Flink Jar作业:基于Flink API的自定义Jar包作业,可以运行在独享队列上。

Flink作业管理主要包括如下功能:

委托权限设置

DLI执行Flink作业需要进行委托授权,可在第一次登录管理控制台时进行设置,也可在“全局配置”>“服务授权”中进行修改。

具体权限如下:

  • Tenant Administrator(全局服务):DLI Flink作业访问和使用OBS或者DWS数据源、日志转储(包括桶授权)、开启checkpoint、作业导入导出等,需要获得访问和使用OBS(对象存储服务)的Tenant Administrator权限。

    由于云服务缓存需要时间,该权限60分钟左右才能生效。

  • DIS Administrator:DLI Flink作业访问和使用DIS数据源,需要获得访问和使用DIS(数据接入服务)的DIS Administrator权限。

    由于云服务缓存需要时间,该权限30分钟左右才能生效。

  • CloudTable Administrator:DLI Flink作业访问和使用CloudTable数据源,需要获得访问和使用CloudTable(表格存储服务)的CloudTable Administrator权限。

    由于云服务缓存需要时间,该权限3分钟左右才能生效。

  • Tenant Administrator(项目级):使用其他必须具有Tenant Administrator权限才能运行的服务也需要获得该权限。

    由于云服务缓存需要时间,该权限3分钟左右才能生效。

作业管理页面

在总览页面单击“Flink作业”简介,或在左侧导航栏单击“作业管理”>“Flink作业”,可进入Flink作业管理页面。Flink作业管理页面显示所有的Flink作业,作业数量较多时,系统分页显示,您可以查看任何状态下的作业。

表1 作业管理参数

参数

参数说明

ID

所提交Flink作业的ID,由系统默认生成。

名称

所提交Flink作业的名称。

类型

所提交Flink作业的类型。包括:

  • Flink SQL:Flink SQL作业
  • Flink Jar:Flink Jar作业

状态

作业的状态信息,包括:

  • 草稿
  • 提交中
  • 提交失败
  • 运行中(提交作业后,返回正常结果)
  • 运行异常(作业发生运行时异常,停止运行作业)
  • 下载中
  • 空闲
  • 停止中
  • 已停止
  • 停止失败
  • 保存点创建中
  • 已完成

描述

所提交Flink作业的描述。

用户名

提交作业的用户名称。

创建时间

每个作业的创建时间。

开始时间

Flink作业开始运行的时间。

运行时长

作业运行所消耗的时间。

操作

  • 编辑:编辑已经创建好的作业。具体请参见编辑作业
  • 启动:启动作业并运行。具体请参见启动作业
  • 更多
    • FlinkUI:单击后,将跳转至Flink任务运行情况界面。
      说明:

      如果是新建队列,在该队列提交作业后,如果立即单击FlinkUI,因为后台大约需要10分钟创建集群,会导致缓存空的projectID,从而导致无法查看FlinkUI。

      建议作业选择使用专属队列,后台集群不会被释放,避免上述问题产生。或者等待作业运行中时再查看FlinkUI,确保集群已经拉好了,不要立即单击FlinkUI。

    • 停止:停止Flink作业。如果该功能置灰,表示当前状态的作业不支持停止。
    • 删除:删除作业。
      说明:

      作业删除后不可恢复,请谨慎操作。

    • 名称和描述修改:修改作业名称和描述。具体请参考名称和描述修改
    • 导入保存点:导入原实时流计算服务作业导出的数据。具体请参考导入保存点
    • 触发保存点:“运行中”的作业可以“触发保存点”,保存作业的状态信息。具体请参考触发保存点
    • 权限管理:查看作业对应的用户权限信息以及对其他用户授权。具体请参考Flink作业权限管理
    • 运行时配置:支持作业在运行时配置作业异常告警和异常自动重启。具体请参考运行时配置