更新时间:2026-11-06 GMT+08:00
分享

FlinkSQL支持Multi Join

使用场景

在FlinkSQL多表Join场景中,默认情况下多个Join操作会逐个执行,每个Join操作都会产生独立的中间状态(state),当关联表较多时,中间状态会大量累积,占用大量存储资源并降低作业性能。FlinkSQL支持Multi Join,在多表Join场景下可以将多个Join操作合并为一个Multi Join算子,有效地减少中间状态。

约束与限制

  • Multi Join不支持Join-To-Live特性。
  • 使用Multi Join前后的快照互不兼容。
  • 使用Multi Join多表关联时,表关联键必须一致。

使用方法

可通过以下两种方式配置table.optimizer.multi-join.enabled为true,以开启Multi Join功能:

  • 方式一:配置Flink作业时,在作业flink_config参数中添加该自定义参数。
  • 方式二:在端点的Flink参数中添加该自定义参数。

SQL示例

CREATE TABLE datagen1 (id int, f1 int, PRIMARY KEY (id) NOT ENFORCED)
WITH
  (
    'connector' = 'datagen',
    'rows-per-second' = '1'
  );
CREATE TABLE datagen2 (id int, f2 int, PRIMARY KEY (id) NOT ENFORCED)
WITH
  (
    'connector' = 'datagen',
    'rows-per-second' = '1'
  );
CREATE TABLE datagen3 (id int, f3 int, PRIMARY KEY (id) NOT ENFORCED)
WITH
  (
    'connector' = 'datagen',
    'rows-per-second' = '1'
  );

CREATE TABLE datagen4 (id int, f4 int, PRIMARY KEY (id) NOT ENFORCED)
WITH
  (
    'connector' = 'datagen',
    'rows-per-second' = '1'
  );
CREATE TABLE datagen5 (id int, f5 int, PRIMARY KEY (id) NOT ENFORCED)
WITH
  (
    'connector' = 'datagen',
    'rows-per-second' = '1'
  );
CREATE TABLE print (id int, f1 int, f2 int, f3 int, f4 int, f5 int)
WITH
  ('connector' = 'print');
insert into
  print
select
  datagen1.id,
  datagen1.f1,
  datagen2.f2,
  datagen3.f3,
  datagen4.f4,
  datagen5.f5
  
from
  datagen1
  left join datagen2 on datagen1.id = datagen2.id
  and datagen2.id > 2
  join datagen3 on datagen1.id = datagen3.id
  and datagen3.id > 3
  right join datagen5 on datagen1.id = datagen5.id
  and datagen5.id > 5
  full outer join datagen4 on datagen1.id = datagen4.id
  and datagen4.id > 4
  and datagen1.id > 1;

Multi Join算子支持Empty Result Pruning

使用场景

在Multi Join运行时,支持空结果剪枝。当某个表对应的状态为空时,直接跳过该状态的遍历,从而减少Multi Join中无效的递归扫描,提高查询性能和资源利用率。

使用方法

配置“table.optimizer.multi-join.empty-result-pruning.enabled”的参数值为“true”开启Empty Result Pruning功能。

相关文档