# 创建集群时配置LakeFormation数据连接 该章节指导用户在创建MRS 3.6.0-LTS或之后版本集群时配置LakeFormation数据连接，并在创建完成后配置MRS集群相关参数完成与LakeFormation的对接，实现统一的数据湖元数据及权限管理。 #### 创建集群时配置LakeFormation数据连接 1. 进入[购买MRS集群页面](https://console.huaweicloud.com/mrs/?#/clusterCreate/quick)。 2. 单击"购买集群"，进入"购买集群"页面。 3. 在购买集群页面，选择"自定义购买"。 4. 参考[购买自定义拓扑集群](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0121.html)进行配置并创建集群，且集群需满足[表1]中要求。 表1LakeFormation数据连接参数说明 | 参数 | 参数说明 | |:---|:---| | 版本类型 | LTS版 | | 集群版本 | 选择配置对接的MRS集群版本。 当前仅MRS 3.6.0-LTS及之后版本支持在创建普通模式集群时配置LakeFormation数据连接。 | | 组件选择 | 必须包含Hadoop、Ranger、Hive、Guardian、Spark（可选）、Flink（可选）、HetuEngine（可选）等组件。 例如，配置如下图所示，不同版本集群可能存在差异，具体界面显示以实际为准。 ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000002372662678.png "点击放大") | | 元数据 | 选择"外置数据连接"，并配置以下参数： 1. LakeFormation元数据：单击按钮开启。 2. LakeFormation连接实例：选择[创建LakeFormation数据连接](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300726.html#mrs_01_300726__zh-cn_topic_0000002368493490_section553942945017)已创建的LakeFormation数据连接名称。 3. 数据连接类型：保持默认。 例如，配置如下图所示，不同版本集群可能存在差异，具体界面显示以实际为准。 ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000002368653418.png "点击放大") | | 虚拟私有云 | 与LakeFormation数据连接所在的虚拟私有云保持一致。 | | 子网 | 选择子网名称。 | | 拓扑调整 | 选择"开启"，并确认Ranger组件至少添加1个PolicySync（PSC）实例（该实例部署节点需要同时包含RangerAdmin实例）、Guardian组件至少添加2个TokenServer（TS）实例。 例如，配置如下图所示，不同版本集群可能存在差异，具体界面显示以实际为准。 ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000002368493558.png "点击放大") | | Kerberos认证 | 关闭 | | 委托 | 勾选"高级配置"后的"现在配置"，"委托"选择"现有委托"，并选择[创建对接ECS/BMS云服务委托](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300726.html#mrs_01_300726__zh-cn_topic_0000002368493490_section1338192510169)创建的委托。 例如，配置如下图所示，不同版本集群可能存在差异，具体界面显示以实际为准。 ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000002402133317.png "点击放大") | 5. 等待集群创建完成后，在"现有集群"页面单击已创建的MRS集群名称，在"概览"页签单击"IAM用户同步"后的"同步"，根据界面提示同步当前用户。 ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000002402173169.png) 6. 参考[配置MRS 3.6.0-LTS及之后版本集群]配置组件存算分离、下载客户端等操作。 #### 配置MRS 3.6.0-LTS及之后版本集群 1. 登录MRS集群Manager界面。 登录集群Manager具体操作，请参考[访问MRS集群Manager](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0128.html)。 2. 配置Guardian。 1. 在FusionInsight Manager界面，选择"集群 \> 服务 \> Guardian \> 配置 \> 全部配置"，搜索并修改以下参数后，单击"保存"。 表2配置Guardian参数 | 参数 | 示例 | 含义 | |:---|:---|:---| | token.server.access.iam.domain.id | xxx | 访问IAM的用户对应的账号 ID。 参考[获取账号ID信息](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300726.html#mrs_01_300726__zh-cn_topic_0000002368493490_section1911111335812)获取账号ID信息。 | | token.server.access.iam.project.id | xxx | 访问IAM的用户对应的项目ID。 参考[获取账号ID信息](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300726.html#mrs_01_300726__zh-cn_topic_0000002368493490_section1911111335812)获取项目ID信息。 | | token.server.access.label.agency.name | visit_obs_agency | 指定IAM委托的名字，需要具有访问OBS的权限。 即[创建对接OBS权限的委托](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300726.html#mrs_01_300726__zh-cn_topic_0000002368493490_section1237122515161)创建的委托名称。 | | fs.obs.delegation.token.providers | com.huawei.mrs.dt.MRSDelegationTokenProvider,com.huawei.mrs.dt.GuardianDTProvider | delegation.token的产生类名，默认为空。 此处同时勾选以下参数值： - com.huawei.mrs.dt.MRSDelegationTokenProvider - com.huawei.mrs.dt.GuardianDTProvider | | fs.obs.guardian.accesslabel.enabled | true | 是否开启使用Guardian对接OBS的access label。 对接OBS后，如需通过Ranger配置组件关于OBS相关路径的权限策略，需确保OBS服务已开启AccessLabel功能，若未开启，需手动开启，详细操作请联系OBS服务运维人员。 | | fs.obs.guardian.enabled | true | 是否开启使用Guardian。 | 2. 进入Guardian服务"概览"页面，选择"更多 \> 重启服务"。 3. 配置Hive对接OBS文件系统。 1. 在FusionInsight Manager界面，选择"集群 \> 服务 \> Hive \> 配置 \> 全部配置"。 2. 在左侧的导航列表中选择"HiveServer \> 自定义"。在自定义配置项中添加如下参数。 表3HiveServer自定义参数配置说明 | 参数 | 示例 | 描述 | |:---|:---|:---| | hive.server.customized.configs | - 名称：hive.metastore.warehouse.dir - 值：obs://lakeformation-test/hive | - 添加参数"hive.metastore.warehouse.dir"。 - 设置值为[配置LakeFormation实例](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300726.html#mrs_01_300726__zh-cn_topic_0000002368493490_section785954117267)章节获取的hive Catalog在OBS中的存储路径。 | | hive.metastore.customized.configs | - 名称：hive.metastore.warehouse.dir - 值：obs://lakeformation-test/hive | - 添加参数"hive.metastore.warehouse.dir"。 - 设置值为[配置LakeFormation实例](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300726.html#mrs_01_300726__zh-cn_topic_0000002368493490_section785954117267)章节获取的hive Catalog在OBS中的存储路径。 | 图1hive.metastore.warehouse.dir配置 ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000002368653422.png "点击放大") 3. 单击"保存"，保存配置。 4. 配置Spark对接OBS文件系统。如果集群不存在Spark组件请跳过该步骤。 1. 在FusionInsight Manager界面，选择"集群 \> 服务 \> Spark \> 配置 \> 全部配置"。 2. 在左侧的导航列表中选择"JDBCServer \> 自定义"，参考下表增加自定义参数及值。 表4Spark参数配置 | 自定义参数 | 参数值 | |:---|:---| | spark.hive-site.customized.configs | - 参数：hive.metastore.warehouse.dir - 值：设置为[配置LakeFormation实例](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300726.html#mrs_01_300726__zh-cn_topic_0000002368493490_section785954117267)章节获取的hive Catalog在OBS中的存储路径，例如"obs://lakeformation-test/hive"。 | 3. 在左侧的导航列表中选择"SparkResource \> 自定义"，参考[表4]配置参数。 4. 单击"保存"，保存配置。 5. 在MRS集群"组件管理"页签，查看是否存在"配置超期"的组件，如果存在请单击"操作"列的"重启"，重启相关组件。 6. 重新下载并安装MRS集群完整客户端。具体操作请参考[安装客户端](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0089.html)。 7. 如果需要在管理控制台执行作业提交操作，需要更新集群内置客户端配置文件。 在MRS集群概览页面，获取弹性IP，使用该IP登录Master节点，执行如下命令刷新集群内置客户端。 **su - omm** **sh /opt/executor/bin/refresh-client-config.sh** 8. 登录客户端安装节点，通过Hive客户端查看数据库，确认对接成功。 **source** *客户端安装路径* **/bigdata_env** **kinit** *组件业务用户* **beeline** **show databases;desc database default;** **!q** 9. 通过Spark客户端，查看数据库，确认对接成功。如果集群不存在Spark组件请跳过该步骤。 **source** *客户端安装路径* **/Spark/component_env** **spark-sql** **show databases;desc database default;** #### 相关文档 对接LakeFormation后，支持通过调整Hive的配置参数，在Hive客户端查看数据库、数据表列表或者通过JDBC的getMetaData接口获取元数据信息时，仅显示当前用户有权限访问的数据库和表，其他未被授权的库表将不再展示，具体操作请参考[配置Hive对接LakeFormation支持show databases/tables鉴权](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_300800.html)。