Connector概述
表类型
- 源表:源表是Flink作业的数据输入表,例如Kafka等实时流数据输入。
- 维表:数据源表的辅助表,用于丰富和扩展源表的数据。在Flink作业中,因为数据采集端采集到的数据往往比较有限,在做数据分析之前,就要先将所需的维度信息补全,而维表就是代表存储数据维度信息的数据源。常见的用户维表有 MySQL,Redis等。
- 结果表:Flink作业输出的结果数据表,将每条实时处理完的数据写入的目标存储,如 MySQL,HBase 等数据库。
示例:
Flink 实时消费用户订单数据的 Kafka 源表,通过Redis维表将商品ID关联维表获取商品分类,并计算不同类别的商品销售金额,将计算结果写入 RDS(Relational Database Service,如 MySQL) 结果表中。
表信息如下:
- 源表:订单数据表,包含用户ID、商品ID、订单ID、订单金额等信息。
- 维表:用户信息表,包含商品ID、商品类别信息。
- 结果表:按商品类别统计订单销售金额数据。
作业首先从订单数据源表读取实时订单数据,将订单数据流与商品商品类别信息维表关联起来,然后聚合统计订单总额,最后将统计结果写入结果表。
本例中订单表作为驱动源表输入,商品类别信息表作为静态维表,统计结果表作为作业最终输出。
Connector支持列表
Connector |
源表 |
维表 |
结果表 |
---|---|---|---|
不支持 |
不支持 |
支持 |
|
不支持 |
不支持 |
支持 |
|
支持 |
不支持 |
不支持 |
|
支持 |
支持 |
支持 |
|
支持 |
支持 |
支持 |
|
不支持 |
不支持 |
支持 |
|
支持 |
不支持 |
支持 |
|
支持 |
支持 |
支持 |
|
支持 |
支持 |
支持 |
|
支持 |
支持 |
支持 |
|
支持 |
不支持 |
支持 |
|
不支持 |
不支持 |
支持 |
|
支持 |
支持 |
支持 |
|
支持 |
不支持 |
支持 |