更新时间:2024-12-25 GMT+08:00
分享

Hudi锁配置说明

提交Spark jar作业时需要手动配置Hudi锁。

当使用DLI托管的元数据服务时,必须配置Hudi锁开启,且配置使用DLI提供的Hudi锁实现类:

配置项

配置值

hoodie.write.lock.provider

com.huawei.luxor.hudi.util.DliCatalogBasedLockProvider

同样在使用LakeFormation服务提供的元数据服务时,需要配置并使用LakeFormation提供的Hudi锁实现类。

配置项

配置值

hoodie.write.lock.provider

org.apache.hudi.lakeformation.LakeCatMetastoreBasedLockProvider

  • 关闭Hudi锁,或者使用其他的锁实现类时,存在数据丢失/异常的风险。
  • 在任何情况下,DLI不对因关闭Hudi锁,或者使用与元数据服务不匹配的锁实现类,而直接或间接导致的任何形式的损失或损害承担责任,包括但不限于商业利润损失、业务中断、数据丢失或其他财务损失。

相关文档