更新时间:2024-11-21 GMT+08:00
分享

Flink on Hudi作业参数建议

Hudi表作为Source表时建议设置限流

Hudi表作为Source表,防止上限超过流量峰值,导致作业出现异常带来不稳定因素,因此建议设置限流,限流上限应该为业务上线压测的峰值。

使用时需添加如下参数:

'read.rate.limit' = '1000'

设置execution.checkpointing.tolerable-failed-checkpoints

Flink On Hudi作业建议设置Checkpoint容忍次数多次,如100。

相关文档