更新时间:2026-10-28 GMT+08:00
分享

注意事项

  • 使用工具进行问题修复时,请确认入湖等写入操作(如:数据写入、compaction等操作)已停止,否则可能导致修复失败,表处于未知状态。
  • 支持备份恢复的工具,不支持连续执行多次修复操作,执行下次修复操作前需要先清理备份文件,备份文件清理后不支持恢复操作,请确认修复已达到预期效果再执行清理。
  • Spark参数说明(以下为spark任务常用参数说明,其他参数参考spark-submit命令帮助,参数值需要根据执行的具体任务进行调整。其他工具不再对spark参数进行单独说明):

    参数

    说明

    --master yarn

    yarn模式执行

    --driver-memory 2G

    driver运行内存

    --num-executors 3

    启动executor个数

    --executor-memory 4G

    executor占用内存

  • 通用Spark配置项:

    配置项

    默认值

    适用工具

    说明

    spark.hudi.fix.ignore.inflight.compaction

    false

    FixHiveMetadata、CleanInvalidFiles、CleanDuplicativeSchema、ForceRollback、CleanFailedTransactions

    是否跳过对inflight状态compaction的检查。存在inflight状态的compaction时不允许执行修复动作;如确认inflight状态的compaction任务已经失败,可以设置为true跳过检查

    spark.hudi.check.archived.timeline

    false

    CleanInvalidFiles

    是否扫描归档时间线。开启后工具会同时检查归档事务中的文件信息,否则仅检查活跃时间线

    spark.hudi.check.schema.ignore.optional

    false

    CheckWriteSchema

    schema比较时是否忽略字段的optional/nullable差异

相关文档