更新时间:2026-11-06 GMT+08:00
分享

Flink On Iceberg支持维表Join

使用场景

Flink On Iceberg支持维表Join,可以将实时流数据与存储在Iceberg中的静态或缓慢变化的维度数据进行关联,从而补齐流记录的数据。

约束与限制

  • Lookup Join默认在每个并发加载全量数据,仅适用于小数据量的维表。
  • Lookup Join Key不支持ARRAY、BINARY、DECIMAL、TIME、MAP、VARIANT等复杂数据类型。
  • Cache refresh不支持增量读取,每次刷新全表扫描。
  • Iceberg维表仅支持INSERT、UPDATE_AFTER消息。

参数

Key

默认值

取值范围

含义

lookup.refresh.async

false

true / false

是否异步刷新缓存。

  • true:后台线程刷新,不阻塞查询;
  • false:同步刷新阻塞查询。

lookup.refresh.interval

1h

Duration(如 24h)

缓存全量刷新的时间间隔

lookup.cache.type

AUTO

AUTO / HEAP / ROCKSDB

缓存后端类型。

  • AUTO:根据表大小自动选择。
  • HEAP:基于Caffeine堆内存。
  • ROCKSDB:基于磁盘。

lookup.cache.auto.bytes-threshold

64mb

Flink MemorySize(如 32mb)

AUTO模式下,表大小超过此阈值用ROCKSDB,否则用HEAP。

lookup.cache.max-table-size

512mb

Flink MemorySize(如 256mb)

Iceberg维表大小超过此阈值后则无法被加载。

lookup.rocksdb.path

${java.io.tmpdir}/iceberg-lookup-rocksdb

有效本地目录路径。

ROCKSDB模式下数据存储路径。

使用方法

  1. 新建一个Iceberg表,例如iceberg_catalog.`default`.iceberg_table的代码示例如下。

    CREATE TABLE IF NOT EXISTS iceberg_catalog.`default`.iceberg_table (
      id BIGINT,
      data STRING
    ) PARTITIONED BY (id)
    WITH
      ('format-version' = '2');

  2. 维表Join,SQL示例:

    CREATE TABLE datagen (id BIGINT)
    WITH
      (
        'connector' = 'datagen',
        'rows-per-second' = '1'
      );
    
    CREATE TABLE print
    WITH
      ('connector' = 'print') AS
    SELECT
      *
    FROM
      datagen AS o
      LEFT JOIN iceberg_catalog.`default`.iceberg_table /*+ OPTIONS('lookup.refresh.interval' = '24h') */ FOR SYSTEM_TIME AS OF PROCTIME () AS d ON o.id = d.id;

相关文档