如何使用LakeFormation
湖仓构建(DataArts Lake Formation,简称LakeFormation)是企业级数据湖一站式构建服务,在存算分离架构基础上提供数据湖元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持对接多种计算引擎及大数据云服务,使用户可以便捷高效地构建数据湖和运营相关业务,加速释放业务数据价值。
LakeFormation产品通过底层资源实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、元数据与文件目录联动授权、对接多计算引擎等功能,是一个Serverless服务。
LakeFormation服务的使用流程如下所示:
|
主流程 |
子任务 |
说明 |
使用指导 |
|---|---|---|---|
|
准备工作 |
配置云服务授权 |
在使用LakeFormation之前,您需要注册华为云账号并进行云服务授权操作。 |
|
|
配置IAM用户权限 |
您可以根据需要配置IAM用户的权限进行精细的权限管理。 |
||
|
创建LakeFormation实例 |
- |
在使用LakeFormation时,您首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。 |
|
|
规划数据湖 |
创建元数据存储路径 |
LakeFormation元数据映射的数据文件和目录存储在OBS中。在创建LakeFormation元数据之前,需要提前创建数据存储使用的OBS对象桶或OBS并行文件系统。 |
|
|
创建元数据 |
通过创建元数据对象(包括Catalog、数据库、数据表等),提供统一的元数据管理能力。 |
||
|
配置元数据权限 |
对元数据或OBS路径进行授权,实现细粒度的权限管理。 |
||
|
迁移元数据及权限 |
迁移元数据 |
将外部元数据迁移至LakeFormation,实现元数据的统一管理。 |
|
|
迁移权限 |
将已迁移元数据的权限迁移至LakeFormation,保证用户在元数据迁移前后,数据访问控制策略的连续性与一致性。 |
||
|
对接LakeFormation元数据 |
创建接入客户端 |
通过创建接入客户端,用于其他云服务接入LakeFormation实例。 |
|
|
配置与云服务对接 |
配置LakeFormation与其他云服务(例如:MRS、DWS、DLI等)对接,对接完成后可通过云服务对LakeFormation上的元数据进行访问和管理。 |
||
|
管理LakeFormation |
管理实例 |
对LakeFormation实例进行扩容、删除、设置为默认实例等操作。 |
|
|
管理元数据 |
对LakeFormation元数据(Catalog、数据库、数据表、函数等)进行查看、修改、授权、删除等操作。 同时支持配置删除策略、恢复已删除的元数据。 |
||
|
管理数据权限 |
对已配置完成的数据权限进行查询、修改、取消授权等。 同时支持创建角色并授权,为用户绑定角色。 |