更新时间:2024-11-21 GMT+08:00
Flink on Hudi作业参数建议
Hudi表作为Source表时建议设置限流
Hudi表作为Source表,防止上限超过流量峰值,导致作业出现异常带来不稳定因素,因此建议设置限流,限流上限应该为业务上线压测的峰值。
使用时需添加如下参数:
'read.rate.limit' = '1000'
设置execution.checkpointing.tolerable-failed-checkpoints
Flink On Hudi作业建议设置Checkpoint容忍次数多次,如100。
父主题: Flink on Hudi开发规范