更新时间:2024-05-28 GMT+08:00

Spark异步任务执行表compaction参数设置规范

  • 写作业未停止情况下,禁止手动执行run schedule命令生成compaction计划。

    错误示例:

    run schedule on dsrTable

    如果还有别的任务在写这张表,执行该操作会导致数据丢失。

  • 执行run compaction命令时,禁止将hoodie.run.compact.only.inline设置成false,该值需要设置成true。

    错误示例:

    set hoodie.run.compact.only.inline=false;
    run compaction on dsrTable;

    如果还有别的任务在写这张表,执行上述操作会导致数据丢失。

    正确示例:异步Compaction

    set hoodie.compact.inline = true;
    set hoodie.run.compact.only.inline=true;
    run compaction on dsrTable;