ARCHIVELOG
命令功能
用于根据配置对Timeline上的Instant进行归档,并从Timeline上将已归档的Instant删除,以减少Timeline的操作压力。
命令格式
RUN ARCHIVELOG ON tableIdentifier;
RUN ARCHIVELOG ON tablelocation;
参数描述
参数 |
描述 |
---|---|
tableIdentifier |
Hudi表的名称 |
tablelocation |
Hudi表的存储路径 |
示例
run archivelog on h1; run archivelog on "obs://bucket/path/h1";
注意事项
- 首先需要执行clean命令,在clean命令清理了历史的数据文件后,Timeline上与清理的数据文件对应的Instant才允许归档。
- 不管是否进行compaction操作,至少会保留hoodie.compact.inline.max.delta.commits个Instant不会被归档,以此保证有足够的Instant去触发compation schedule。
- 使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。
系统响应
可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。