更新时间:2023-05-30 GMT+08:00

创建作业

操作场景

定义Flink的作业,包括Flink SQL和Flink Jar作业。

新建作业

  1. 访问Flink WebUI,请参考访问Flink WebUI
  2. 单击“作业管理”进入作业管理页面。
  3. 单击“新建作业”,在新建作业页面可选择新建Flink SQL作业或Flink Jar作业,然后填写作业信息,单击“确定”,创建作业成功并进入作业开发界面。
  4. (可选)如果需要立即进行作业开发,可以在作业开发界面进行作业配置。

    • 新建Flink SQL作业
      1. 在作业开发界面进行作业开发。

      2. 可以单击上方“语义校验”对输入内容校验,单击“SQL格式化”对SQL语句进行格式化。
      3. 作业SQL开发完成后,请参考表1设置基础参数,还可根据需要设置自定义参数,然后单击“保存”。
        表1 基础参数

        参数名称

        参数描述

        并行度

        并行数量。

        算子最大并行度

        算子最大的并行度。

        JobManager内存(MB)

        JobManager的内存。输入值最小为512。

        提交队列

        作业提交队列。不填默认提交到default。

        taskManager

        taskManager运行参数。该参数需配置以下内容:

        • slot数量:不填默认是1;
        • 内存(MB):输入值最小为512。

        开启CheckPoint

        是否开启CheckPoint。开启后,需配置以下内容:

        • 时间间隔(ms):必填;
        • 模式:必填;

          EXACTLY_ONCE:数据或事件仅会被算子处理一次;

          AT_LEAST_ONCE:数据或事件会被算子至少处理一次;

        • 最小间隔(ms):输入值最小为10;
        • 超时时间:输入值最小为10;
        • 最大并发量:正整数,且不能超过64个字符;
        • 是否清理:是/否;
        • 是否开启增量Checkpoint:是/否。

        故障恢复策略

        作业的故障恢复策略,包含以下三种,详情请参考Flink重启策略

        • fixed-delay:需配置“重试次数”和“失败重试间隔(s)”;
        • failure-rate:需配置“最大重试次数”、“时间间隔(min)”和“失败重试间隔(s)”;
        • none:无。
      4. 单击左上角“提交”提交作业。
    • 新建Flink Jar作业
      1. 单击“选择”,上传本地Jar文件,并参考表2配置参数或添加自定义参数。
        表2 参数配置

        参数名称

        参数描述

        本地jar文件

        上传jar文件。直接上传本地文件,大小不能超过10M。

        Main Class

        Main-Class类型。

        • 默认:默认根据Jar包文件的Mainfest文件指定类名。
        • 指定:手动指定类名。

        类名

        类名。

        “Main Class”选择“指定”时存在该参数。

        类参数

        类参数,为Main-Class的参数(参数间用空格分隔)。

        并行度

        并行数量。

        JobManager内存(MB)

        JobManager的内存。输入值最小为512。

        提交队列

        作业提交队列。不填默认提交到default。

        taskManager

        taskManager运行参数。该参数需配置以下内容:

        • slot数量:不填默认是1;
        • 内存(MB):输入值最小为512。
      2. 单击“保存”保存配置,单击“提交”提交作业。

  5. 返回作业管理页面,可以查看到已创建的作业名称、类型、状态、作业种类和描述等信息。

    作业创建完成后,可在对应作业的“操作”列对作业进行启动、开发、停止、编辑、删除、查看作业详情和Checkpoint故障恢复等操作。

    • 若要使用其他用户在节点上读取已提交的作业相关文件,需确保该用户与提交作业的用户具有相同的用户组和具有对应的FlinkServer应用管理权限角色,如参考创建FlinkServer角色勾选“应用查看”。
    • 作业状态为“运行中”的作业可以查看作业详情。
    • 作业状态为“运行失败”、“运行成功”和“停止”的作业可以进行Checkpoint故障恢复。