更新时间:2024-07-19 GMT+08:00
创建作业
操作场景
定义Flink的作业,包括Flink SQL和Flink Jar作业。
新建作业
- 访问Flink WebUI,请参考访问Flink WebUI。
- 单击“作业管理”进入作业管理页面。
- 单击“新建作业”,在新建作业页面可选择新建Flink SQL作业或Flink Jar作业,然后填写作业信息,单击“确定”,创建作业成功并进入作业开发界面。
- (可选)如果需要立即进行作业开发,可以在作业开发界面进行作业配置。
- 新建Flink SQL作业
- 在作业开发界面进行作业开发。
- 可以单击上方“语义校验”对输入内容校验,单击“SQL格式化”对SQL语句进行格式化。
- 作业SQL开发完成后,请参考表1设置基础参数,还可根据需要设置自定义参数,然后单击“保存”。
表1 基础参数 参数名称
参数描述
并行度
并行数量。
算子最大并行度
算子最大的并行度。
JobManager内存(MB)
JobManager的内存。输入值最小为512。
提交队列
作业提交队列。不填默认提交到default。
taskManager
taskManager运行参数。该参数需配置以下内容:
- slot数量:不填默认是1;
- 内存(MB):输入值最小为512。
开启CheckPoint
是否开启CheckPoint。开启后,需配置以下内容:
故障恢复策略
作业的故障恢复策略,包含以下三种,详情请参考Flink重启策略。
- fixed-delay:需配置“重试次数”和“失败重试间隔(s)”;
- failure-rate:需配置“最大重试次数”、“时间间隔(min)”和“失败重试间隔(s)”;
- none:无。
- 单击左上角“提交”提交作业。
- 新建Flink Jar作业
- 单击“选择”,上传本地Jar文件,并参考表2配置参数或添加自定义参数。
表2 参数配置 参数名称
参数描述
本地jar文件
上传jar文件。直接上传本地文件,大小不能超过10M。
Main Class
Main-Class类型。
- 默认:默认根据Jar包文件的Mainfest文件指定类名。
- 指定:手动指定类名。
类名
类名。
“Main Class”选择“指定”时存在该参数。
类参数
类参数,为Main-Class的参数(参数间用空格分隔)。
并行度
并行数量。
JobManager内存(MB)
JobManager的内存。输入值最小为512。
提交队列
作业提交队列。不填默认提交到default。
taskManager
taskManager运行参数。该参数需配置以下内容:
- slot数量:不填默认是1;
- 内存(MB):输入值最小为512。
- 单击“保存”保存配置,单击“提交”提交作业。
- 单击“选择”,上传本地Jar文件,并参考表2配置参数或添加自定义参数。
- 新建Flink SQL作业
- 返回作业管理页面,可以查看到已创建的作业名称、类型、状态、作业种类和描述等信息。
作业创建完成后,可在对应作业的“操作”列对作业进行启动、开发、停止、编辑、删除、查看作业详情和Checkpoint故障恢复等操作。
- 若要使用其他用户在节点上读取已提交的作业相关文件,需确保该用户与提交作业的用户具有相同的用户组和具有对应的FlinkServer应用管理权限角色,如参考创建FlinkServer角色勾选“应用查看”。
- 作业状态为“运行中”的作业可以查看作业详情。
- 作业状态为“运行失败”、“运行成功”和“停止”的作业可以进行Checkpoint故障恢复。
父主题: 配置开发Flink可视化作业