更新时间:2024-12-25 GMT+08:00
分享

CLEANING

命令功能

对Hudi表进行cleaning操作,具体作用可以参考Hudi Clean操作说明章节。

命令格式

call run_clean(table=>'[table]', clean_policy=>'[clean_policy]', retain_commits=>'[retain_commits]', hours_retained=> '[hours_retained]', file_versions_retained=> '[file_versions_retained]');

参数描述

表1 参数描述

参数

描述

是否必填

table

需要查询表的表名,支持database.tablename格式

clean_policy

清理老版本数据文件的策略,默认KEEP_LATEST_COMMITS

retain_commits

仅对KEEP_LATEST_COMMITS策略有效

hours_retained

仅对KEEP_LATEST_BY_HOURS策略有效

file_version_retained

仅对KEEP_LATEST_FILE_VERSIONS策略有效

示例

call run_clean(table => 'hudi_table1');

call run_clean(table => 'hudi_table1', retain_commits => 2);

call run_clean(table => 'hudi_table1', clean_policy => 'KEEP_LATEST_FILE_VERSIONS', file_version_retained => 1);

注意事项

cleaning操作只有在满足触发条件后才会对分区的老版本数据文件进行清理,不满足触发条件虽然执行命令成功也不会执行清理。

系统响应

可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。

相关文档