更新时间:2024-12-25 GMT+08:00
分享

CLEAN

命令功能

用于根据配置对Timeline上的Instant进行clean,删除老旧的历史版本文件,以减少hudi表的数据存储及读写压力。

命令格式

RUN CLEAN ON tableIdentifier;

RUN CLEAN ON tablelocation;

参数描述

表1 参数描述

参数

描述

tableIdentifier

Hudi表的名称

tablelocation

Hudi表的存储路径

示例

run clean on h1;
run clean on "obs://bucket/path/h1";

注意事项

  • 对表执行clean操作时需要表的owner才可以执行。
  • 如果需要修改clean默认的参数,需要在执行SQL时,在设置中配置需要保留的commit数量等参数,参见Hudi常见配置参数
  • 使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。

系统响应

可以检查任务状态是否成功,查看任务日志确认有无异常。

相关文档