更新时间:2024-12-18 GMT+08:00
配置Hive对接LakeFormation
- 修改Hive服务端安装环境的“conf”目录的hive-site.xml文件,添加如下内容(部分参数值根据提示进行替换):
<property> <name>hive.metastore.session.client.class</name> <value>com.huawei.cloud.dalf.lakecat.client.hiveclient.LakeCatMetaStoreClient</value> </property> <property> <name>lakeformation.project.id</name> <value>****</value> </property> <property> <name>lakeformation.instance.id</name> <value>LakeFormation实例ID</value> </property> <!--访问lakeformation IAM认证AK信息,可选参数,如果为自定义认证信息获取类可忽略--> <property> <name>lakeformation.authentication.access.key</name> <value>AK信息</value> </property> <!--访问lakeformation IAM认证SK信息,可选参数,如果为定义认证信息获取类可忽略--> <property> <name>lakeformation.authentication.secret.key</name> <value>SK信息</value> </property> <!--访问lakeformation IAM认证信息securityToken,可选参数,如果使用永久AKSK或自定义认证信息获取类可忽略--> <property> <name>lakeformation.authentication.security.token</name> <value>securityToken信息</value> </property> <property> <name>fs.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBSFileSystem</value> </property> <property> <name>fs.AbstractFileSystem.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBS</value> </property> <property> <name>fs.obs.endpoint</name> <value>Endpoint信息</value> </property> <property> <name>fs.obs.credentials.provider</name> <value>com.huawei.cloud.dalf.lakecat.client.obs.LakeFormationObsCredentialProvider</value> </property> <property> <name>fs.obs.impl.disable.cache</name> <value>true</value> </property> <property> <name>dfs.namenode.acls.enabled</name> <value>false</value> </property> <!--需要对接的LakeFormation Catalog名称,可选配置,如果不配置则对接到hive catalog中,此处配置值仅作为参考--> <property> <name>lakecat.catalogname.default</name> <value>hive</value> </property>
- lakeformation.project.id:为项目ID,可参考获取项目ID获取。
- lakeformation.instance.id:为LakeFormation实例ID,可参考如何获取LakeFormation实例ID获取。
- AK/SK信息可参考如何获取AK/SK获取。
- securitytoken可参考通过token获取临时访问密钥和securitytoken获取。
- 重启Hive服务。
- 进入Hive客户端执行以下命令进行验证。
show tables;