FlinkSQL 使用RocksDB Merge Operator提升Join算子性能

使用场景

在使用RocksDB状态后端的FlinkSQL作业中，包含NoUniqueKey的Join算子在更新状态时需要先读取旧值再写入新值，产生大量的读放大开销，导致Join算子性能下降，开启该特性后，Join算子状态更新可直接通过Merge操作完成，从而提升Join算子的计算性能。

约束与限制

• 仅使用RocksDB状态后端时，该特性会提升Join算子的计算性能。
• 开启该特性前后生成的快照，互相不兼容。
• 本章节仅适用于MRS 3.6.0-LTS及之后版本。

使用方法

1. 登录Manager界面，选择“集群 > 服务 > Flink”，在“Flink WebUI”右侧，单击链接，访问FlinkServer的WebUI。
2. 单击“作业管理”进入作业管理页面。
3. 在FlinkServer作业管理界面，可参考集群连接模式创建Flink SQL作业选择已有作业或新建作业，进入作业开发界面。
4. 在作业开发界面的“自定义参数”配置“table.exec.join.use-merge-operator”的参数值为“true”开启MergeOperator功能。参数配置完成后，提交Flink作业即可生效。