文档首页 > > 用户指南> 作业管理> Flink作业管理>

Flink作业管理概述

Flink作业管理概述

分享
更新时间:2021/04/27 GMT+08:00

在Flink作业管理页面可提交Flink作业。目前有以下作业类型:

  • Flink SQL作业:使用SQL语句定义作业,可以提交到任意队列上。
  • Flink Jar作业:基于Flink API的自定义Jar包作业,可以运行在独享队列上。
  • Flink OpenSource SQL作业:兼容社区Flink 1.10版本SQL语法,仅支持运行在CCE类型队列上。
  • Flink Edge SQL作业:通过SQL对边缘设备数据进行分析,可部署到边缘节点上。

Flink作业管理主要包括如下功能:

以及查看“使用指南”和“使用视频”。

委托权限设置

DLI执行Flink作业需要进行委托授权,可在第一次登录管理控制台时进行设置,也可在“全局配置”>“服务授权”中进行修改。

具体权限如下:

  • Tenant Administrator(全局服务):DLI Flink作业访问和使用OBS或者DWS数据源、日志转储(包括桶授权)、开启checkpoint、作业导入导出等,需要获得访问和使用OBS(对象存储服务)的Tenant Administrator权限。

    由于云服务缓存需要时间,该权限60分钟左右才能生效。

  • DIS Administrator:DLI Flink作业访问和使用DIS数据源,需要获得访问和使用DIS(数据接入服务)的DIS Administrator权限。

    由于云服务缓存需要时间,该权限30分钟左右才能生效。

  • CloudTable Administrator:DLI Flink作业访问和使用CloudTable数据源,需要获得访问和使用CloudTable(表格存储服务)的CloudTable Administrator限。

    由于云服务缓存需要时间,该权限3分钟左右才能生效。

  • Tenant Administrator(项目级):DLI 边缘Flink作业执行需要使用IEF(智能边缘平台)服务,IEF服务必须具有Tenant Administrator权限才能运行。使用其他必须具有Tenant Administrator权限才能运行的服务也需要获得该权限。

    由于云服务缓存需要时间,该权限3分钟左右才能生效。

作业管理页面

在总览页面单击“Flink作业”简介,或在左侧导航栏单击“作业管理”>“Flink作业”,可进入Flink作业管理页面。Flink作业管理页面显示所有的Flink作业,作业数量较多时,系统分页显示,您可以查看任何状态下的作业。

表1 作业管理参数

参数

参数说明

ID

所提交Flink作业的ID,由系统默认生成。

名称

所提交Flink作业的名称。

类型

所提交Flink作业的类型。包括:

  • Flink SQL:Flink SQL作业
  • Flink Jar:Flink Jar作业
  • Flink OpenSource SQL:Flink OpenSource SQL作业
  • Flink Edge SQL:Flink SQL边缘作业

状态

作业的状态信息,包括:

  • 草稿
  • 提交中
  • 提交失败
  • 运行中(开始计费,提交作业后,返回正常结果)
  • 运行异常(停止计费。作业发生运行时异常,停止运行作业)
  • 下载中
  • 空闲
  • 停止中
  • 已停止
  • 停止失败
  • 保存点创建中
  • 因欠费被停止(结束计费。用户账户欠费,作业停止)
  • 欠费作业恢复中(用户账户欠费,账户充值,作业恢复中)
  • 已完成

描述

所提交Flink作业的描述。

用户名

提交作业的用户名称。

创建时间

每个作业的创建时间,可按创建时间顺序或倒序显示作业列表。

开始时间

Flink作业开始运行的时间。

运行时长

作业运行所消耗的时间。

企业项目

企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。关于如何设置企业项目请参考《企业管理用户指南》。

说明:

只有开通了企业管理服务的用户才显示该参数。

操作

  • 编辑:编辑已经创建好的作业。具体请参见编辑作业
  • 启动:启动作业并运行。具体请参见启动作业
  • 更多
    说明:

    Flink SQL边缘作业只支持“停止”,“删除”,“名称和描述修改”操作。

    • FlinkUI:单击后,将跳转至Flink任务运行情况界面。
      说明:

      新建队列,运行作业时会重新拉集群,大概需要10分钟左右才能拉好集群,在集群创建好之前单击FlinkUI会导致缓存空的projectID,从而导致无法查看FlinkUI。建议使用专属队列,集群不会被释放,就不会有该问题,或者提交作业后等一段时间再查看FlinkUI,确保集群已经拉好了,不要立即单击FlinkUI。

    • 停止:停止“提交中”或“运行中”的作业。
    • 删除:删除作业。
      说明:

      作业删除后不可恢复,请谨慎操作。

    • 名称和描述修改:修改作业名称和描述。具体请参考名称和描述修改
    • 导入保存点:导入原实时流计算服务作业导出的数据。具体请参考导入保存点
    • 触发保存点:“运行中”的作业可以“触发保存点”,保存作业的状态信息。具体请参考触发保存点
    • 权限管理:查看作业对应的用户权限信息以及对其他用户授权。具体请参考Flink作业权限管理
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区论坛频道来与我们联系探讨

智能客服提问云社区提问