文档首页/ 数据湖探索 DLI/ Hudi SQL语法参考/ DLI Hudi开发规范/ Spark on Hudi开发规范/ Spark异步任务执行表compaction参数设置规范
更新时间：2024-12-25 GMT+08:00
查看PDF
分享

Spark异步任务执行表compaction参数设置规范

  • 写作业未停止情况下，禁止手动执行run schedule命令生成compaction计划。

    错误示例：

    run schedule on dsrTable

    如果还有别的任务在写这张表，执行该操作会导致数据丢失。

  • 执行run compaction命令时，禁止将hoodie.run.compact.only.inline设置成false，该值需要设置成true。

    错误示例：

    配置参数

    hoodie.run.compact.only.inline=false

    随后执行SQL

    run compaction on dsrTable;

    如果还有别的任务在写这张表，执行上述操作会导致数据丢失。

    正确示例：异步Compaction

    hoodie.compact.inline = true
hoodie.run.compact.only.inline=true

    执行SQL

    run compaction on dsrTable;

相关文档