更新时间:2025-12-04 GMT+08:00

如何使用LakeFormation

湖仓构建(DataArts Lake Formation,简称LakeFormation)是企业级数据湖一站式构建服务,在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务,使用户可以便捷高效地构建数据湖和运营相关业务,加速释放业务数据价值。

LakeFormation产品通过底层资源实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、元数据与文件目录联动授权、对接多计算引擎等功能,是一个Serverless服务。

LakeFormation服务的使用流程如下所示:

图1 LakeFormation使用流程
表1 LakeFormation使用流程介绍

主流程

子任务

说明

使用指导

准备工作

配置云服务授权

在使用LakeFormation之前,您需要注册华为云账号并进行云服务授权操作。

配置LakeFormation云服务授权

配置IAM用户权限

您可以根据需要配置IAM用户的权限进行精细的权限管理。

创建IAM用户并授权使用LakeFormation

创建LakeFormation自定义IAM策略

创建LakeFormation实例

-

在使用LakeFormation时,您首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。

创建LakeFormation实例

规划数据湖

创建元数据存储路径

LakeFormation元数据映射的数据文件和目录存储在OBS中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS对象桶或OBS并行文件系统。

创建LakeFormation元数据存储路径

创建元数据

通过创建元数据对象(包括Catalog、数据库、数据表等),提供统一的元数据管理能力。

创建LakeFormation元数据

配置元数据权限

对元数据或OBS路径进行授权,实现细粒度的权限管理。

配置LakeFormation元数据权限

迁移元数据及权限

迁移元数据

将外部元数据迁移至LakeFormation,实现元数据的统一管理。

迁移元数据至LakeFormation

迁移权限

将已迁移元数据的权限迁移至LakeFormation,保证用户在元数据迁移前后,数据访问控制策略的连续性与一致性。

迁移元数据权限至LakeFormation

对接LakeFormation元数据

创建接入客户端

通过创建接入客户端,用于其他云服务接入LakeFormation实例。

对接LakeFormation元数据

配置与云服务对接

配置LakeFormation与其他云服务(例如:MRS、DWS、DLI等)对接,对接完成后可通过云服务对LakeFormation上的元数据进行访问和管理。

管理LakeFormation

管理实例

对LakeFormation实例进行扩容、删除、设置为默认实例等操作。

管理LakeFormation实例

管理元数据

对LakeFormation元数据(Catalog、数据库、数据表、函数等)进行查看、修改、授权、删除等操作。

同时支持配置删除策略、恢复已删除的元数据。

管理LakeFormation元数据

管理数据权限

对已配置完成的数据权限进行查询、修改、取消授权等。

同时支持创建角色并授权,为用户绑定角色。

管理LakeFormation数据权限