Flink作业引擎概述
Flink WebUI提供基于Web的可视化开发平台,用户只需要编写SQL即可开发作业,极大降低作业开发门槛。同时通过作业平台能力开放,支持业务人员自行编写SQL开发作业来快速应对需求,大大减少Flink作业开发工作量。
Flink WebUI特点
Flink WebUI主要有以下特点:
- 企业级可视化运维:运维管理界面化、作业监控、作业开发Flink SQL标准化等。
图1 可视化运维
- 快速建立集群连接:通过集群连接功能配置访问一个集群,需要客户端配置、用户认证密钥文件。
- 快速建立数据连接:通过数据连接功能配置访问一个组件。创建“数据连接类型”为“HDFS”类型时需创建集群连接,其他数据连接类型的“认证类型”为“KERBEROS”需创建集群连接,“认证类型”为“SIMPLE”不需创建集群连接。
“数据连接类型”为“Kafka”时,认证类型不支持“KERBEROS”。
- 可视化开发平台:支持自定义输入/输出映射表,满足不同输入来源、不同输出目标端的需求。
- 图形化作业管理:简单易用。
图2 图形化作业管理
Flink WebUI关键能力
FlinkWebUI关键能力如表1:
关键能力分类 |
描述 |
---|---|
批流一体 |
|
Flink SQL内核能力 |
|
Flink SQL可视化定义 |
|
Flink作业可视化管理 |
|
性能&可靠性 |
|
Flink WebUI应用流程
Flink WebUI应用流程参考如下步骤:
![](https://support.huaweicloud.com/cmpntguide-lts-mrs/zh-cn_image_0000001676748310.png)
阶段 |
说明 |
参考章节 |
---|---|---|
创建应用 |
通过应用来隔离不同的上层业务。 |
|
创建集群连接 |
通过集群连接配置访问不同的集群。 |
|
创建数据连接 |
通过数据连接,访问不同的数据服务,包括HDFS、Kafka等。 |
|
创建流表 |
通过数据表,定义源表、维表、输出表的基本属性和字段信息。 |
|
创建SQL/JAR作业(流式/批作业) |
定义Flink作业的API,包括Flink SQL和Flink Jar作业。 |
|
作业管理 |
管理创建的作业,包括作业启动、开发、停止、删除和编辑等。 |