文档首页/ MapReduce服务 MRS/ 组件开发规范/ Hudi应用开发规范/ Spark on Hudi开发规范/ Spark读写Hudi开发规范/ Spark异步任务执行表compaction参数设置规范
更新时间：2024-05-28 GMT+08:00
查看PDF
分享

Spark异步任务执行表compaction参数设置规范

  • 写作业未停止情况下，禁止手动执行run schedule命令生成compaction计划。

    错误示例：

    run schedule on dsrTable

    如果还有别的任务在写这张表，执行该操作会导致数据丢失。

  • 执行run compaction命令时，禁止将hoodie.run.compact.only.inline设置成false，该值需要设置成true。

    错误示例：

    set hoodie.run.compact.only.inline=false;
run compaction on dsrTable;

    如果还有别的任务在写这张表，执行上述操作会导致数据丢失。

    正确示例：异步Compaction

    set hoodie.compact.inline = true;
set hoodie.run.compact.only.inline=true;
run compaction on dsrTable;