文档首页> 湖仓构建 LakeFormation> 快速入门> LakeFormation使用流程简介
更新时间:2023-12-15 GMT+08:00
分享

LakeFormation使用流程简介

LakeFormation是企业级一站式湖仓构建服务,提供元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持无缝对接多种计算引擎及大数据云服务,使客户便捷高效地构建数据湖和运营相关业务,加速释放业务数据价值。

本文档是一个LakeFormation入门教程,介绍了如何创建一个LakeFormation实例并与MRS集群对接,实现统一的数据湖元数据及权限管理。

使用流程简介

LakeFormation典型的使用流程如下图所示:

图1 LakeFormation使用流程

约束说明

LakeFormation与MRS集群对接需注意以下约束限制:

  • MRS对接LakeFormation前,需要注意以下约束限制:
    • MRS集群和LakeFormation实例必须同在一个云账户下且属于同一个Region。
    • LakeFormation侧创建的接入客户端所在虚拟私有云,必须与MRS集群在同一虚拟私有云下。
    • MRS集群仅支持对接LakeFormation实例的hive Catalog。
  • MRS对接LakeFormation后,MRS组件功能约束限制:
    • Hive暂不支持临时表功能。
    • Hive暂不支持跨集群的列加密表功能。
    • Hive WebHCat暂不支持对接LakeFormation。
    • Hive创建内表时若表目录不为空,则禁止创建表。
    • Hudi表创建前,需要先在LakeFormation上添加Hudi表目录的路径授权,赋予OBS读写权限。
    • Hudi表不支持在LakeFormation管理面编辑表的字段,只能通过Hudi客户端增删改表的字段。
    • Flink读写Hudi场景下同步Hive表,仅支持使用hive_sync.mode=jdbc,不支持hms方式。
    • Spark使用小权限用户登录客户端创建数据库时,若用户没有default库的OBS路径权限,将提示缺少权限,实际创建数据库成功。
  • MRS对接LakeFormation后,权限策略约束限制:
    • 通过LakeFormation授权仅支持将LakeFormation角色作为授权主体,不支持IAM用户或IAM用户组作为授权主体。
    • PolicySync进程不会修改集群内RangerAdmin Hive模块的默认策略,默认策略仍然生效。
    • RangerAdmin WebUI界面的Hive模块,禁止执行添加、删除权限非默认策略的操作,统一在LakeFormation实例的数据权限界面进行授权操作。
    • MRS集群取消对接LakeFormation后,RangerAdmin的非默认策略不会清理,需要人工进行清理。
    • Hive暂不支持Grant授权的SQL语句,需统一在LakeFormation实例的数据权限界面进行授权操作。
分享:

    相关文档

    相关产品