更新时间:2026-08-11 GMT+08:00
分享

Flink写Hudi,开启同步Hive失败,表无法同步

问题描述

Flink写Hudi,开启同步Hive失败,表无法同步到LakeFormation。

问题影响

Hudi表元数据无法同步到LakeFormation。

处理方法

对接LakeFormation后,Flink写Hudi仅支持JDBC方式,且在执行SQL时需要添加LakeFormation相关参数:
--LakeFormation开关和实例相关参数(可以登录MRS集群Manager选择“集群 > 服务 > Hive > 配置 > 全部配置 > HiveServer(角色) > LakeFormation”,从对应参数中获取)
'hadoop.hive-ext.dlcatalog.metastore.client.enable' = 'true',
'hadoop.lakeformation.apig.independent.domain.name' = '<lakeformation.apig.independent.domain.name参数值>',
'hadoop.lakeformation.end.tenant.agency.name' = '<lakeformation.end.tenant.agency.name参数值>',
'hadoop.lakeformation.instance.id' = '<lakeformation.instance.id参数值>',
'hadoop.lakeformation.project.id' = '<lakeformation.project.id参数值>',
'hadoop.lakeformation.vpcep.ip' = '<lakeformation.vpcep.ip参数值>',
--lakeformation对接适配参数,固定不变:
'hadoop.hive-ext.dlcatalog.metastore.cacheable.client.class' = 'com.huawei.cloud.dalf.lakecat.client.hiveclient.LakeCatMetaStoreClient',
'hadoop.lakecat.auth.identity.util.class' = 'com.huawei.cloud.dalf.lakecat.client.hiveclient.LakeCatMetaStoreClient',
'hadoop.hive-ext.dlcatalog.metastore.session.client.class' = 'com.huawei.cloud.dalf.lakecat.client.hiveclient.LakeCatMetaStoreClient',
'hadoop.lakecat.auth.identity.util.class' = 'com.huawei.cloud.dalf.lakecat.client.identity.GuardianIdentityGenerator',
'hadoop.lakeformation.end.tenant.agency.name' = 'com.huawei.cloud.dalf.lakecat.client.hiveclient.LakeCatMetaStoreClient',
'hadoop.lakeformation.user.group.manager.class' = 'com.huawei.cloud.dalf.lakecat.client.hiveclient.group.GuardianUserGroupManager'

相关文档