更新时间:2026-11-06 GMT+08:00
FlinkSQL使用RocksDB Merge Operator提升Join算子性能
使用场景
在使用RocksDB状态后端的FlinkSQL作业中,包含NoUniqueKey的Join算子在更新状态时需要先读取旧值再写入新值,产生大量的读放大开销,导致Join算子性能下降,开启该特性后,Join算子状态更新可直接通过Merge操作完成,从而提升Join算子的计算性能。
约束与限制
- 仅使用RocksDB状态后端时,该特性会提升Join算子的计算性能。
- 开启该特性前后生成的快照,互相不兼容。
使用方法
可通过以下两种方式配置table.exec.join.use-merge-operator为true,以开启MergeOperator功能:
- 方式一:配置Flink作业时,在作业flink_config参数中添加该自定义参数。
- 方式二:在端点的Flink参数中添加该自定义参数。
父主题: Flink增强特性使用介绍