文档首页/ 数据湖探索 DLI/ 用户指南（巴黎区域）/ 作业管理/ Flink作业管理/ Flink作业管理概述
更新时间：2022-07-01 GMT+08:00
查看PDF
分享

Flink作业管理概述

在Flink作业管理页面可提交Flink作业。目前有以下作业类型：

  • Flink SQL作业：使用SQL语句定义作业，可以提交到任意队列上。
  • Flink jar作业：基于Flink API的自定义Jar包作业，可以运行在独享队列上。
  • Flink OpenSource SQL作业：兼容社区Flink 1.10版本SQL语法，仅支持运行在CCE类型队列上。
  • Flink Edge SQL作业：通过SQL对边缘设备数据进行分析，可部署到边缘节点上。

Flink作业管理主要包括如下功能：

以及查看“使用指南”和“使用视频”。

委托权限设置

DLI执行Flink作业需要进行委托授权，可在第一次登录管理控制台时进行设置，也可在“全局配置”>“服务授权”中进行修改。

具体权限如下：

  • Tenant Administrator(全局服务)：DLI Flink作业访问和使用OBS或者DWS数据源、日志转储（包括桶授权）、开启checkpoint、作业导入导出等，需要获得访问和使用OBS（对象存储服务）的Tenant Administrator权限。

    由于云服务缓存需要时间，该权限60分钟左右才能生效。

  • DIS Administrator：DLI Flink作业访问和使用DIS数据源，需要获得访问和使用DIS（数据接入服务）的DIS Administrator权限。

    由于云服务缓存需要时间，该权限30分钟左右才能生效。

  • CloudTable Administrator：DLI Flink作业访问和使用CloudTable数据源，需要获得访问和使用CloudTable（表格存储服务）的CloudTable Administrator限。

    由于云服务缓存需要时间，该权限3分钟左右才能生效。

  • Tenant Administrator(项目级)：DLI 边缘Flink作业执行需要使用IEF（智能边缘平台）服务，IEF服务必须具有Tenant Administrator权限才能运行。使用其他必须具有Tenant Administrator权限才能运行的服务也需要获得该权限。

    由于云服务缓存需要时间，该权限3分钟左右才能生效。

作业管理页面

在总览页面单击“Flink作业”简介，或在左侧导航栏单击“作业管理”>“Flink作业”，可进入Flink作业管理页面。Flink作业管理页面显示所有的Flink作业，作业数量较多时，系统分页显示，您可以查看任何状态下的作业。

表1 作业管理参数

参数

参数说明

ID

所提交Flink作业的ID，由系统默认生成。

名称

所提交Flink作业的名称。

类型

所提交Flink作业的类型。包括：

  • Flink SQL：Flink SQL作业
  • Flink Jar：Flink自定义作业
  • Flink OpenSource SQL：Flink OpenSource SQL作业
  • Flink Edge SQL：Flink SQL边缘作业

状态

作业的状态信息，包括：

  • 草稿
  • 提交中
  • 提交失败
  • 运行中（开始计费，提交作业后，返回正常结果）
  • 运行异常（停止计费。作业发生运行时异常，停止运行作业）
  • 下载中
  • 空闲
  • 停止中
  • 已停止
  • 停止失败
  • 保存点创建中
  • 因欠费被停止（结束计费。用户账户欠费，作业停止）
  • 欠费作业恢复中（用户账户欠费，账户充值，作业恢复中）
  • 已完成

描述

所提交Flink作业的描述。

用户名

提交作业的用户名称。

创建时间

每个作业的创建时间，可按创建时间顺序或倒序显示作业列表。

开始时间

Flink作业开始运行的时间。

运行时长

作业运行所消耗的时间。

操作
  • 编辑：编辑已经创建好的作业。具体请参见编辑作业。
  • 启动：启动作业并运行。具体请参见启动作业。
  • 更多
    • FlinkUI：单击后，将跳转至Flink任务运行情况界面。
    • 停止：停止“提交中”或“运行中”的作业。
    • 删除：删除作业。
      说明：

      作业删除后不可恢复，请谨慎操作。

    • 名称和描述修改：修改作业名称和描述。具体请参考名称和描述修改。
    • 导入保存点：导入原实时流计算服务作业导出的数据。具体请参考导入保存点。
    • 触发保存点：“运行中”的作业可以“触发保存点”，保存作业的状态信息。具体请参考触发保存点。
    • 权限管理：查看作业对应的用户权限信息以及对其他用户授权。具体请参考Flink作业权限管理。
父主题： Flink作业管理