更新时间:2023-03-17 GMT+08:00

使用Flink WebUI的作业管理

操作场景

定义Flink的作业,包括Flink SQL和Flink Jar作业。

新建流表

  1. 访问Flink WebUI,请参考访问Flink WebUI
  2. 单击“作业管理”进入作业管理页面。
  3. 单击“新建作业”,在新建作业页面参考表1填写信息,单击“确定”,创建作业成功并进入作业开发界面。

    表1 新建作业信息

    参数名称

    参数描述

    类型

    作业类型,包括Flink SQL和Flink Jar。

    名称

    作业名称,只能包含英文字母、数字和下划线,且不能多于64个字符。

    作业类型

    作业数据来源类型,包括流作业和批作业。

    描述

    作业描述,不能超过100个字符。

  4. (可选)如果需要立即进行作业开发,可以在作业开发界面进行作业配置。

    • 新建Flink SQL作业
      1. 在作业开发界面进行作业开发。
      2. 可以单击上方“语义校验”对输入内容校验,单击“SQL格式化”对SQL语句进行格式化。
      3. 作业SQL开发完成后,请参考表2设置基础参数,还可根据需要设置自定义参数,然后单击“保存”。
        表2 基础参数

        参数名称

        参数描述

        并行度

        并行数量,只能填写正整数,且不能多于64字符。

        算子最大并行度

        算子最大的并行度,只能填写正整数,且不能多于64字符。

        JobManager内存(MB)

        JobManager的内存。输入值最小为512,且不能超过64个字符。

        提交队列

        作业提交队列。不填默认提交到default。只能包含英文字母,数字和下划线,且不能超过30字符。

        taskManager

        taskManager运行参数。该参数需配置以下内容:

        • slot数量:不填默认是1;
        • 内存(MB):输入值最小为512。

        开启CheckPoint

        是否开启CheckPoint。开启后,需配置以下内容:

        • 时间间隔(ms):必填;
        • 模式:必填;

          可选项为:EXACTLY_ONCE、AT_LEAST_ONCE;

        • 最小间隔(ms):输入值最小为10;
        • 超时时间:输入值最小为10;
        • 最大并发量:正整数,且不能超过64个字符;
        • 是否清理:是/否;
        • 是否开启增量Checkpoint:是/否。

        故障恢复策略

        作业的故障恢复策略,包含以下三种。

        • fixed-delay:需配置“重试次数”和“失败重试间隔(s)”;
        • failure-rate:需配置“最大重试次数”、“时间间隔(min)”和“失败重试间隔(s)”;
        • none:无。
      4. 单击左上角“提交”提交作业。
    • 新建Flink Jar作业
      1. 单击“选择”,上传本地Jar文件,并参考表3配置参数或添加自定义参数。
        表3 参数配置

        参数名称

        参数描述

        本地jar文件

        上传jar文件。直接上传本地文件,大小不能超过10M。

        Main Class

        Main-Class类型。

        • 默认:默认根据Jar包文件的Mainfest文件指定类名。
        • 指定:手动指定类名。

        类名

        类名。

        “Main Class”选择“指定”时存在该参数。

        类参数

        类参数,为Main-Class的参数(参数间用空格分隔)。

        并行度

        并行数量,只能填写正整数,且不能多于64字符。

        JobManager内存(MB)

        JobManager的内存。输入值最小为512,且不能超过64个字符。

        提交队列

        作业提交队列。不填默认提交到default。只能包含英文字母,数字和下划线,且不能超过30字符。

        taskManager

        taskManager运行参数。该参数需配置以下内容:

        • slot数量:不填默认是1;
        • 内存(MB):输入值最小为512。
      2. 单击“保存”保存配置,单击“提交”提交作业。

  5. 返回作业管理页面,可以查看到已创建的作业名称、类型、状态、作业种类和描述等信息。

启动作业

  1. 访问Flink WebUI,请参考访问Flink WebUI
  2. 单击“作业管理”进入作业管理页面。
  3. 在待启动项的“操作”列单击“启动”运行作业。作业状态为“草稿”、“保存”、“提交失败”、“运行成功”、“运行失败”和“停止”的作业可以启动。

开发作业

  1. 访问Flink WebUI,请参考访问Flink WebUI
  2. 单击“作业管理”进入作业管理页面。
  3. 在待开发项的“操作”列单击“开发”进入作业开发页面,参考4进行作业开发,在左侧列表可以查看已创建的流表及字段。

编辑作业名称和描述

  1. 访问Flink WebUI,请参考访问Flink WebUI
  2. 单击“作业管理”进入作业管理页面。
  3. 在待修改项的“操作”列单击“编辑”,修改“描述”,修改完成后单击“确定”保存修改。

查看作业详情

  1. 访问Flink WebUI,请参考访问Flink WebUI
  2. 单击“作业管理”进入作业管理页面。
  3. 在待查看项的“操作”列选择“更多 > 作业详情”可以查看作业运行详情。

    只能查看状态为“运行中”的作业详情。

Checkpoint故障恢复

  1. 访问Flink WebUI,请参考访问Flink WebUI
  2. 单击“作业管理”进入作业管理页面。
  3. 在待恢复项的“操作”列选择“更多 > Checkpoint故障恢复”进行Checkpoint故障恢复。作业状态为“运行失败”、“运行成功”和“停止”的作业可以进行Checkpoint故障恢复。

筛选/搜索作业

  1. 访问Flink WebUI,请参考访问Flink WebUI
  2. 单击“作业管理”进入作业管理页面。
  3. 在页面右上角,用户可以根据作业名称进行筛选,或输入关键字搜索查看作业信息。

停止作业

  1. 访问Flink WebUI,请参考访问Flink WebUI
  2. 单击“作业管理”进入作业管理页面。
  3. 在待停止项的“操作”列单击“停止”,停止作业运行。作业状态为“提交中”、“提交成功”和“运行中”的作业可以停止。

删除作业

  1. 访问Flink WebUI,请参考访问Flink WebUI
  2. 单击“作业管理”进入作业管理页面。
  3. 在待删除项的“操作”列单击“删除”在弹出的页面单击“确定”删除作业。作业状态为“草稿”、“保存”、“提交失败”、“运行成功”、“运行失败”和“停止”状态的作业可以删除。