如何使用LakeFormation
湖仓构建(DataArts Lake Formation,简称LakeFormation)是企业级数据湖一站式构建服务,在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务,使用户可以便捷高效地构建数据湖和运营相关业务,加速释放业务数据价值。
LakeFormation产品通过底层资源实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、元数据与文件目录联动授权、对接多计算引擎等功能,是一个Serverless服务。
LakeFormation服务的使用流程如下所示:
| 主流程 | 子任务 | 说明 | 使用指导 |
|---|---|---|---|
| 准备工作 | 配置云服务授权 | 在使用LakeFormation之前,您需要注册华为云账号并进行云服务授权操作。 | |
| 配置IAM用户权限 | 您可以根据需要配置IAM用户的权限进行精细的权限管理。 | ||
| 创建LakeFormation实例 | - | 在使用LakeFormation时,您首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。 | |
| 规划数据湖 | 创建元数据存储路径 | LakeFormation元数据映射的数据文件和目录存储在OBS中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS对象桶或OBS并行文件系统。 | |
| 创建元数据 | 通过创建元数据对象(包括Catalog、数据库、数据表等),提供统一的元数据管理能力。 | ||
| 配置元数据权限 | 对元数据或OBS路径进行授权,实现细粒度的权限管理。 | ||
| 迁移元数据及权限 | 迁移元数据 | 将外部元数据迁移至LakeFormation,实现元数据的统一管理。 | |
| 迁移权限 | 将已迁移元数据的权限迁移至LakeFormation,保证用户在元数据迁移前后,数据访问控制策略的连续性与一致性。 | ||
| 对接LakeFormation元数据 | 创建接入客户端 | 通过创建接入客户端,用于其他云服务接入LakeFormation实例。 | |
| 配置与云服务对接 | 配置LakeFormation与其他云服务(例如:MRS、DWS、DLI等)对接,对接完成后可通过云服务对LakeFormation上的元数据进行访问和管理。 | ||
| 管理LakeFormation | 管理实例 | 对LakeFormation实例进行扩容、删除、设置为默认实例等操作。 | |
| 管理元数据 | 对LakeFormation元数据(Catalog、数据库、数据表、函数等)进行查看、修改、授权、删除等操作。 同时支持配置删除策略、恢复已删除的元数据。 | ||
| 管理数据权限 | 对已配置完成的数据权限进行查询、修改、取消授权等。 同时支持创建角色并授权,为用户绑定角色。 |