更新时间:2025-02-12 GMT+08:00
FlinkSQL Redis表开发建议
Sink表设置合适的批写参数
- sink.batch.max-size:开启批写Redis并设置批写数量(正整数),单位:条。“-1”表示不开启批写Redis。
- 开启该功能可提升大数据场景下性能表现,但不适合对实时性要求过高的场景,建议批写数量不超过30000。
- 开启该参数需同步开启CheckPoint。
- sink.flush-buffer.timeout:开启批写Redis后,可按照指定时间将队列里面的数据刷新到Redis。单位:ms。
- 示例1
# 开启批写Redis并设置批写数量为5,开启批写需同步开启CheckPoint 'sink.batch.max-size' = '5' # 数据在缓冲区的最大等待时间为1s 'sink.flush-buffer.timeout' = '1000'
- 示例2
# '-1'表示不开启批写Redis 'sink.batch.max-size' = '-1' 'sink.flush-buffer.timeout' = '1000'