# Flink On Iceberg支持维表Join
#### 使用场景
Flink On Iceberg支持维表Join，可以将实时流数据与存储在Iceberg中的静态或缓慢变化的维度数据进行关联，从而补齐流记录的数据。
#### 约束与限制
- Lookup Join默认在每个并发加载全量数据，仅适用于小数据量的维表。
- Lookup Join Key不支持ARRAY、BINARY、DECIMAL、TIME、MAP、VARIANT等复杂数据类型。
- Cache refresh不支持增量读取，每次刷新全表扫描。
- Iceberg维表仅支持INSERT、UPDATE_AFTER消息。
 
#### 参数
| Key | 默认值         | 取值范围                     | 含义                                                                                                                                                                                                                                                                                                                     |
|:---|:---|:---|:---|
| lookup.refresh.async             | false                                    | true / false             | 是否异步刷新缓存。 - true：后台线程刷新，不阻塞查询；  - false：同步刷新阻塞查询。                                                                                                 |
| lookup.refresh.interval            | 1h                                       | Duration（如 24h）            | 缓存全量刷新的时间间隔                                                                                                                                                                                                                                                                                                             |
| lookup.cache.type                | AUTO                                      | AUTO / HEAP / ROCKSDB     | 缓存后端类型。 - AUTO：根据表大小自动选择。  - HEAP：基于Caffeine堆内存。  - ROCKSDB：基于磁盘。   |
| lookup.cache.auto.bytes-threshold  | 64mb                                    | Flink MemorySize（如 32mb） | AUTO模式下，表大小超过此阈值用ROCKSDB，否则用HEAP。                                                                                                                                                                                                                                                                                      |
| lookup.cache.max-table-size     | 512mb                                   | Flink MemorySize（如 256mb） | Iceberg维表大小超过此阈值后则无法被加载。                                                                                                                                                                                                                                                                                              |
| lookup.rocksdb.path              | ${java.io.tmpdir}/iceberg-lookup-rocksdb | 有效本地目录路径。                  | ROCKSDB模式下数据存储路径。                                                                                                                                                                                                                                                                                                     |
   
#### 使用方法
1. 新建一个Iceberg表，例如iceberg_catalog.\`default\`.iceberg_table的代码示例如下。 
   ```
   CREATE TABLE IF NOT EXISTS iceberg_catalog.`default`.iceberg_table (
     id BIGINT,
     data STRING
   ) PARTITIONED BY (id)
   WITH
     ('format-version' = '2');
   ```
   
   
   
2. 维表Join，SQL示例： 
   ```
   CREATE TABLE datagen (id BIGINT)
   WITH
     (
       'connector' = 'datagen',
       'rows-per-second' = '1'
     );
   CREATE TABLE print
   WITH
     ('connector' = 'print') AS
   SELECT
     *
   FROM
     datagen AS o
     LEFT JOIN iceberg_catalog.`default`.iceberg_table /*+ OPTIONS('lookup.refresh.interval' = '24h') */ FOR SYSTEM_TIME AS OF PROCTIME () AS d ON o.id = d.id;
   ```
   
   
 
