更新时间:2024-12-18 GMT+08:00

配置Hive对接LakeFormation

  1. 修改Hive服务端安装环境的“conf”目录的hive-site.xml文件,添加如下内容(部分参数值根据提示进行替换):

    <property>
    <name>hive.metastore.session.client.class</name>
    <value>com.huawei.cloud.dalf.lakecat.client.hiveclient.LakeCatMetaStoreClient</value>
    </property>
    <property>
    <name>lakeformation.project.id</name>
    <value>****</value>
    </property>
    <property>
    <name>lakeformation.instance.id</name>
    <value>LakeFormation实例ID</value>
    </property>
    <!--访问lakeformation IAM认证AK信息,可选参数,如果为自定义认证信息获取类可忽略-->
    <property>
    <name>lakeformation.authentication.access.key</name>
    <value>AK信息</value>
    </property>
    <!--访问lakeformation IAM认证SK信息,可选参数,如果为定义认证信息获取类可忽略-->
    <property>
    <name>lakeformation.authentication.secret.key</name>
    <value>SK信息</value>
    </property>
    <!--访问lakeformation IAM认证信息securityToken,可选参数,如果使用永久AKSK或自定义认证信息获取类可忽略-->
    <property>
    <name>lakeformation.authentication.security.token</name>
    <value>securityToken信息</value>
    </property>
    <property>
    <name>fs.obs.impl</name>
    <value>org.apache.hadoop.fs.obs.OBSFileSystem</value>
    </property>
    <property>
    <name>fs.AbstractFileSystem.obs.impl</name>
    <value>org.apache.hadoop.fs.obs.OBS</value>
    </property>
    <property>
    <name>fs.obs.endpoint</name>
    <value>Endpoint信息</value>
    </property>
    <property>
    <name>fs.obs.credentials.provider</name>
    <value>com.huawei.cloud.dalf.lakecat.client.obs.LakeFormationObsCredentialProvider</value>
    </property>
    <property>
    <name>fs.obs.impl.disable.cache</name>
    <value>true</value>
    </property>
    <property>
    <name>dfs.namenode.acls.enabled</name>
    <value>false</value>
    </property>
    <!--需要对接的LakeFormation Catalog名称,可选配置,如果不配置则对接到hive catalog中,此处配置值仅作为参考-->
    <property>
    <name>lakecat.catalogname.default</name>
    <value>hive</value>
    </property>

  2. 重启Hive服务。
  3. 进入Hive客户端执行以下命令进行验证。

    show tables;