LakeFormation使用流程简介

使用流程简介

MRS与LakeFormation对接的使用流程如下图所示：

图1 LakeFormation使用流程

约束说明

• MRS对接LakeFormation前，需要注意以下约束限制：
  • MRS集群和LakeFormation实例必须同在一个云账户下且属于同一个Region。
  • LakeFormation侧创建的接入客户端所在虚拟私有云，必须与MRS集群在同一虚拟私有云下。
  • MRS集群仅支持对接LakeFormation实例中名称为hive的Catalog。
  • MRS存量集群需要先完成元数据库和权限策略向LakeFormation实例上迁移，再配置对接。
  • 如果需要迁移多个MRS集群中的元数据到同一个LakeFormation实例，MRS集群之间的Database名称不能重复。
• MRS对接LakeFormation后，MRS组件功能约束限制：
  • Hive暂不支持临时表功能。
  • Hive暂不支持跨集群的列加密表功能。
  • Hive WebHCat暂不支持对接LakeFormation。
  • Hive创建内表时如果表目录不为空，则禁止创建表。
  • Hudi表创建前，需要先在LakeFormation上添加Hudi表目录的路径授权，赋予OBS读写权限。
  • Hudi表不支持在LakeFormation管理面编辑表的字段，只能通过Hudi客户端增删改表的字段。
  • Flink读写Hudi场景下同步Hive表，仅支持使用hive_sync.mode=jdbc，不支持hms方式。
  • Spark使用小权限用户登录客户端创建数据库时，如果用户没有default库的OBS路径权限，将提示缺少权限，实际创建数据库成功。
• MRS对接LakeFormation后，权限策略约束限制：
  • 通过LakeFormation授权仅支持将LakeFormation角色作为授权主体，不支持IAM用户或IAM用户组作为授权主体。
  • PolicySync进程不会修改集群内RangerAdmin Hive模块的默认策略，默认策略仍然生效。
  • PolicySync进程启动后，会与LakeFormation实例的权限进行比对，删除LakeFormation上不存在的非默认策略，请先完成权限策略迁移到LakeFormation实例上。
  • RangerAdmin WebUI界面的Hive模块，禁止执行添加、删除权限非默认策略的操作，统一在LakeFormation实例的数据权限界面进行授权操作。
  • RangerAdmin WebUI界面的OBS模块，禁止执行添加、删除权限非默认策略的操作，统一在LakeFormation实例的数据权限界面进行OBS路径授权操作。
  • MRS集群取消对接LakeFormation后，RangerAdmin的非默认策略不会清理，需要人工进行清理。
  • Hive暂不支持Grant授权的SQL语句，需统一在LakeFormation实例的数据权限界面进行授权操作。
  • MRS暂不支持LakeFormation行过滤权限能力。