更新时间:2024-04-23 GMT+08:00

Connector概述

表类型

  • 源表:源表是Flink作业的数据输入表,例如Kafka等实时流数据输入。
  • 维表:数据源表的辅助表,用于丰富和扩展源表的数据。在Flink作业中,因为数据采集端采集到的数据往往比较有限,在做数据分析之前,就要先将所需的维度信息补全,而维表就是代表存储数据维度信息的数据源。常见的用户维表有 MySQL,Redis等。
  • 结果表:Flink作业输出的结果数据表,将每条实时处理完的数据写入的目标存储,如 MySQL,HBase 等数据库。

示例:

Flink 实时消费用户订单数据的 Kafka 源表,通过Redis维表将商品ID关联维表获取商品分类,并计算不同类别的商品销售金额,将计算结果写入 RDS(Relational Database Service,如 MySQL) 结果表中。

表信息如下:

  • 源表:订单数据表,包含用户ID、商品ID、订单ID、订单金额等信息。
  • 维表:用户信息表,包含商品ID、商品类别信息。
  • 结果表:按商品类别统计订单销售金额数据。

作业首先从订单数据源表读取实时订单数据,将订单数据流与商品商品类别信息维表关联起来,然后聚合统计订单总额,最后将统计结果写入结果表。

本例中订单表作为驱动源表输入,商品类别信息表作为静态维表,统计结果表作为作业最终输出。

Connector支持列表

表1 Connector支持列表

Connector

源表

维表

结果表

BlackHole

不支持

不支持

支持

ClickHouse

不支持

不支持

支持

DataGen

支持

不支持

不支持

Doris

支持

支持

支持

DWS

支持

支持

支持

Elasticsearch

不支持

不支持

支持

FileSystem

支持

不支持

支持

Hbase

支持

支持

支持

Hive

支持

支持

支持

JDBC

支持

支持

支持

Kafka

支持

不支持

支持

Print

不支持

不支持

支持

Redis

支持

支持

支持

Upsert Kafka

支持

不支持

支持