Hudi锁配置说明
提交Spark jar作业时需要手动配置Hudi锁。
当使用DLI托管的元数据服务时,必须配置Hudi锁开启,且配置使用DLI提供的Hudi锁实现类:
配置项 |
配置值 |
---|---|
hoodie.write.lock.provider |
com.huawei.luxor.hudi.util.DliCatalogBasedLockProvider |
同样在使用LakeFormation服务提供的元数据服务时,需要配置并使用LakeFormation提供的Hudi锁实现类。
配置项 |
配置值 |
---|---|
hoodie.write.lock.provider |
org.apache.hudi.lakeformation.LakeCatMetastoreBasedLockProvider |
- 关闭Hudi锁,或者使用其他的锁实现类时,存在数据丢失/异常的风险。
- 在任何情况下,DLI不对因关闭Hudi锁,或者使用与元数据服务不匹配的锁实现类,而直接或间接导致的任何形式的损失或损害承担责任,包括但不限于商业利润损失、业务中断、数据丢失或其他财务损失。