更新时间:2024-05-28 GMT+08:00

Flink流式读Hudi表建议

设置合理的消费参数避免File Not Found问题

当下游消费Hudi过慢,上游写入端会把Hudi文件归档,导致File Not Found问题。优化建议如下:

  • 调大read.tasks。
  • 如果有限流则调大限流参数。
  • 调大上游compaction、archive、clean参数。