FlinkSQL 使用RocksDB Merge Operator提升Join算子性能

使用场景

在使用RocksDB状态后端的FlinkSQL作业中，包含NoUniqueKey的Join算子在更新状态时需要先读取旧值再写入新值，产生大量的读放大开销，导致Join算子性能下降，开启该特性后，Join算子状态更新可直接通过Merge操作完成，从而提升Join算子的计算性能。

约束与限制

• 仅使用RocksDB状态后端时，该特性会提升Join算子的计算性能。
• 开启该特性前后生成的快照，互相不兼容。
• 本章节仅适用于MRS 3.6.0-LTS及之后版本。

使用方法

配置Flink作业时，可通过在FlinkServer WebUI的Flink作业开发界面添加自定义参数“table.exec.join.use-merge-operator”为“true”开启MergeOperator功能，可参考集群连接模式创建Flink SQL作业。