更新时间:2024-12-25 GMT+08:00
分享

ARCHIVELOG

命令功能

用于根据配置对Timeline上的Instant进行归档,并从Timeline上将已归档的Instant删除,以减少Timeline的操作压力。

命令格式

RUN ARCHIVELOG ON tableIdentifier;

RUN ARCHIVELOG ON tablelocation;

参数描述

表1 参数描述

参数

描述

tableIdentifier

Hudi表的名称

tablelocation

Hudi表的存储路径

示例

run archivelog on h1;
run archivelog on "obs://bucket/path/h1";

注意事项

  • 首先需要执行clean命令,在clean命令清理了历史的数据文件后,Timeline上与清理的数据文件对应的Instant才允许归档。
  • 不管是否进行compaction操作,至少会保留hoodie.compact.inline.max.delta.commits个Instant不会被归档,以此保证有足够的Instant去触发compation schedule。
  • 使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。

系统响应

可以检查任务状态是否成功,查看任务结果,查看任务日志确认有无异常。

相关文档