更新时间:2025-02-12 GMT+08:00

FlinkSQL Redis表开发建议

Sink表设置合适的批写参数

  • sink.batch.max-size:开启批写Redis并设置批写数量(正整数),单位:条。“-1”表示不开启批写Redis。
    • 开启该功能可提升大数据场景下性能表现,但不适合对实时性要求过高的场景,建议批写数量不超过30000。
    • 开启该参数需同步开启CheckPoint。
  • sink.flush-buffer.timeout:开启批写Redis后,可按照指定时间将队列里面的数据刷新到Redis。单位:ms。
  • 示例1
    # 开启批写Redis并设置批写数量为5,开启批写需同步开启CheckPoint  
    'sink.batch.max-size' = '5'
    # 数据在缓冲区的最大等待时间为1s
    'sink.flush-buffer.timeout' = '1000'
  • 示例2
    # '-1'表示不开启批写Redis 
    'sink.batch.max-size' = '-1'
    'sink.flush-buffer.timeout' = '1000'