Hudi TTL简介

约束与限制

• TTL能力适用于MRS 3.5.0-LTS及之后的版本。
• TTL能力目前只支持分区级别的TTL。

简介

随着业务数据的持续积累，Hudi表中存在大量过期的历史分区数据，占用存储空间并增加查询开销。TTL（Time To Live）能力可以控制Hudi表中数据的生存周期，也称为数据老化。过配置TTL策略，Hudi可以自动识别并清理过期的分区数据，无需人工干预。

考虑到如下两个场景：

• 场景1：如果需要在流场景中去删除老化的分区，只能停止流任务执行DDL命令去删除分区。
• 场景2：当前不支持批量的删除老化的分区。TTL现在支持在流任务或异步任务中去完成分区级数据老化。