Flink On Iceberg支持维表Join
使用场景
Flink On Iceberg支持维表Join,可以将实时流数据与存储在Iceberg中的静态或缓慢变化的维度数据进行关联,从而补齐流记录的数据。
约束与限制
- Lookup Join默认在每个并发加载全量数据,仅适用于小数据量的维表。
- Lookup Join Key不支持ARRAY、BINARY、DECIMAL、TIME、MAP、VARIANT等复杂数据类型。
- Cache refresh不支持增量读取,每次刷新全表扫描。
- Iceberg维表仅支持INSERT、UPDATE_AFTER消息。
参数
| Key | 默认值 | 取值范围 | 含义 |
|---|---|---|---|
| lookup.refresh.async | false | true / false | 是否异步刷新缓存。
|
| lookup.refresh.interval | 1h | Duration(如 24h) | 缓存全量刷新的时间间隔 |
| lookup.cache.type | AUTO | AUTO / HEAP / ROCKSDB | 缓存后端类型。
|
| lookup.cache.auto.bytes-threshold | 64mb | Flink MemorySize(如 32mb) | AUTO模式下,表大小超过此阈值用ROCKSDB,否则用HEAP。 |
| lookup.cache.max-table-size | 512mb | Flink MemorySize(如 256mb) | Iceberg维表大小超过此阈值后则无法被加载。 |
| lookup.rocksdb.path | ${java.io.tmpdir}/iceberg-lookup-rocksdb | 有效本地目录路径。 | ROCKSDB模式下数据存储路径。 |
使用方法
- 新建一个Iceberg表,例如iceberg_catalog.`default`.iceberg_table的代码示例如下。
CREATE TABLE IF NOT EXISTS iceberg_catalog.`default`.iceberg_table ( id BIGINT, data STRING ) PARTITIONED BY (id) WITH ('format-version' = '2'); - 维表Join,SQL示例:
CREATE TABLE datagen (id BIGINT) WITH ( 'connector' = 'datagen', 'rows-per-second' = '1' ); CREATE TABLE print WITH ('connector' = 'print') AS SELECT * FROM datagen AS o LEFT JOIN iceberg_catalog.`default`.iceberg_table /*+ OPTIONS('lookup.refresh.interval' = '24h') */ FOR SYSTEM_TIME AS OF PROCTIME () AS d ON o.id = d.id;