更新时间:2024-12-25 GMT+08:00
分享

COMPACTION

命令功能

对Hudi表进行compaction操作,具体作用可以参考Hudi Compaction操作说明章节。

命令格式

call run_compaction(op => '[op]', table=>'[table]', path=>'[path]', timestamp=>'[timestamp]');

参数描述

表1 参数描述

参数

描述

是否必填

op

生成compaction计划(op指定为“schedule”),或者执行已经生成的compaction计划(op指定为“run”)

table

需要查询表的表名,支持database.tablename格式

table,path须选填其中之一

path

需要查询表的路径

table,path须选填其中之一

timestamp

在op指定为“run”时,可以指定timestamp来执行该时间戳对应的compaction计划以及该时间戳之前未执行的compaction计划

示例

call run_compaction(table => 'hudi_table1', op => 'schedule');
call run_compaction(table => 'hudi_table1', op => 'run');
call run_compaction(table => 'hudi_table1', op => 'run', timestamp => 'xxx');
call run_compaction(path => 'obs://bucket/path/hudi_table1', op => 'run', timestamp => 'xxx');

注意事项

compaction操作仅支持MOR表。

系统响应

可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。

相关文档