FlinkSQL 使用RocksDB Prefix Bloom Filter提升Join算子和TopN算子性能

使用场景

针对使用了Join算子、TopN算子的业务SQL，使用RocksDB Prefix Bloom Filter可以提升该类业务SQL的计算性能。

约束与限制

• 开启该特性前后生成的快照，互相不兼容。
• 本章节仅适用于MRS 3.6.0-LTS.1及之后版本。

使用方法

1. 登录Manager界面，选择“集群 > 服务 > Flink”，在“Flink WebUI”右侧，单击链接，访问FlinkServer的WebUI。
2. 单击“作业管理”进入作业管理页面。
3. 在FlinkServer作业管理界面，可参考集群连接模式创建Flink SQL作业选择已有作业或新建作业，进入作业开发界面。
4. 在作业开发界面添加以下自定义参数开启RocksDB Prefix Bloom Filter功能。
   • 配置“table.exec.use-map-prefix-bloomfilter”参数值为“true”，该参数用于控制是否开启RocksDB Prefix Bloom Filter功能。
   • 配置“state.backend.rocksdb.auto-workload-parameters-derivation”参数值为“true”，该参数用于控制是否开启RocksDB自动负载参数推导功能，开启后可根据作业负载自动调整Prefix Bloom Filter相关参数。

   参数配置完成后，提交Flink作业即可生效。