使用Flink WebUI的作业管理
操作场景
定义Flink的作业,包括Flink SQL和Flink Jar作业。
新建作业
- 访问Flink WebUI,请参考访问Flink WebUI。
- 单击“作业管理”进入作业管理页面。
- 单击“新建作业”,在新建作业页面参考表1填写信息,单击“确定”,创建作业成功并进入作业开发界面。
- (可选)如果需要立即进行作业开发,可以在作业开发界面进行作业配置。
- 新建Flink SQL作业
- 在作业开发界面进行作业开发。
- 可以单击上方“语义校验”对输入内容校验,单击“SQL格式化”对SQL语句进行格式化。
- 作业SQL开发完成后,请参考表2设置运行参数,然后单击“保存”。
表2 运行参数 参数名称
参数描述
并行度
并行数量,只能填写正整数,且不能多于64字符。
算子最大并行度
算子最大的并行度,只能填写正整数,且不能多于64字符。
JobManager内存(MB)
JobManager的内存。输入值最小为512,且不能超过64个字符。
提交队列
作业提交队列。不填默认提交到default。只能包含英文字母,数字和下划线,且不能超过30字符。
taskManager
taskManager运行参数。该参数需配置以下内容:
- slot数量:不填默认是1;
- 内存(MB):输入值最小为512。
开启CheckPoint
是否开启CheckPoint。开启后,需配置以下内容:
故障恢复策略
作业的故障恢复策略,包含以下三种。
- fixed-delay:需配置“重试次数”和“失败重试间隔(s)”;
- failure-rate:需配置“最大重试次数”、“时间间隔(min)”和“失败重试间隔(s)”;
- none:无。
- 单击左上角“提交”提交作业。
- 新建Flink Jar作业
- 单击“选择”,上传本地Jar文件,并参考表3配置参数。
表3 参数配置 参数名称
参数描述
本地jar文件
上传jar文件。直接上传本地文件,大小不能超过10M。
Main Class
Main-Class类型。
- 默认:默认根据Jar包文件的Mainfest文件指定类名。
- 指定:手动指定类名。
类名
类名。
“Main Class”选择“指定”时存在该参数。
类参数
类参数,为Main-Class的参数(参数间用空格分隔)。
并行度
并行数量,只能填写正整数,且不能多于64字符。
JobManager内存(MB)
JobManager的内存。输入值最小为512,且不能超过64个字符。
提交队列
作业提交队列。不填默认提交到default。只能包含英文字母,数字和下划线,且不能超过30字符。
taskManager
taskManager运行参数。该参数需配置以下内容:
- slot数量:不填默认是1;
- 内存(MB):输入值最小为512。
- 单击“保存”保存配置,单击“提交”提交作业。
- 单击“选择”,上传本地Jar文件,并参考表3配置参数。
- 新建Flink SQL作业
- 返回作业管理页面,可以查看到已创建的作业名称、类型、状态、作业种类和描述等信息。
启动作业
- 访问Flink WebUI,请参考访问Flink WebUI。
- 单击“作业管理”进入作业管理页面。
- 在待启动项的“操作”列单击“启动”运行作业。作业状态为“草稿”、“保存”、“提交失败”、“运行成功”、“运行失败”和“停止”的作业可以启动。
开发作业
- 访问Flink WebUI,请参考访问Flink WebUI。
- 单击“作业管理”进入作业管理页面。
- 在待开发项的“操作”列单击“开发”进入作业开发页面,参考4进行作业开发,在左侧列表可以查看已创建的流表及字段。
编辑作业名称和描述
- 访问Flink WebUI,请参考访问Flink WebUI。
- 单击“作业管理”进入作业管理页面。
- 在待修改项的“操作”列单击“编辑”,修改“描述”,修改完成后单击“确定”保存修改。
查看作业详情
- 访问Flink WebUI,请参考访问Flink WebUI。
- 单击“作业管理”进入作业管理页面。
- 在待查看项的“操作”列选择“更多 > 作业详情”可以查看作业运行详情。
只能查看状态为“运行中”的作业详情。
Checkpoint故障恢复
- 访问Flink WebUI,请参考访问Flink WebUI。
- 单击“作业管理”进入作业管理页面。
- 在待恢复项的“操作”列选择“更多 > Checkpoint故障恢复”进行Checkpoint故障恢复。作业状态为“运行失败”、“运行成功”和“停止”的作业可以进行Checkpoint故障恢复。
筛选/搜索作业
- 访问Flink WebUI,请参考访问Flink WebUI。
- 单击“作业管理”进入作业管理页面。
- 在页面右上角,用户可以根据作业名称进行筛选,或输入关键字搜索查看作业信息。
停止作业
- 访问Flink WebUI,请参考访问Flink WebUI。
- 单击“作业管理”进入作业管理页面。
- 在待停止项的“操作”列单击“停止”,停止作业运行。作业状态为“提交中”、“提交成功”和“运行中”的作业可以停止。
删除作业
- 访问Flink WebUI,请参考访问Flink WebUI。
- 单击“作业管理”进入作业管理页面。
- 在待删除项的“操作”列单击“删除”在弹出的页面单击“确定”删除作业。作业状态为“草稿”、“保存”、“提交失败”、“运行成功”、“运行失败”和“停止”状态的作业可以删除。