展开导读
功能总览
-
LakeFormation
-
LakeFormation是企业级湖仓一站式构建服务,提供湖仓元数据统一管理的可视化界面及API,兼容Hive元数据模型以及Ranger权限模型,支持无缝对接多种计算引擎及大数据云服务,使客户便捷高效地构建湖仓和运营相关业务,加速释放业务数据价值。
LakeFormation产品通过底层资源实现跨AZ部署及高可靠、弹性伸缩、元数据统一管理、缓存加速元数据查询、元数据与文件目录联动授权、对接多计算引擎等功能,是一个Serverless服务。
已发布区域:以控制台实际上线区域为准。
-
-
实例管理
-
在使用LakeFormation之前,首先需要创建一个实例,后续的操作,如管理元数据、设置元数据权限等,都是基于您创建的实例进行的。
LakeFormation提供实例的创建、配置、删除等基本功能,帮助您便捷地进行实例管理,加速实现数据湖承载的业务的规划和部署。
已发布区域:以控制台实际上线区域为准。
-
-
元数据管理
-
- 数据目录(Catalog)
LakeFormation实例的元数据资源中的最顶层资源,即在一个LakeFormation实例下可以创建多个Catalog,包含名称、描述、位置等信息,支持创建、修改、删除等操作。
其中位置是Catalog所映射的OBS并行文件系统的文件目录。
- 数据库(Database)
LakeFormation实例的数据目录(Catalog)的下级资源,即在一个Catalog下可以创建多个Database,包含名称、所属Catalog、拥有者、位置、描述等信息,支持创建、修改、删除以及授权和查看权限等操作。
其中位置是Database所映射的OBS并行文件系统的文件目录。
- 数据表(Table)
LakeFormation实例的数据库(Database)的下级资源,即在一个Database下可以创建多个Table,包含基本信息、格式与序列化信息、字段信息、属性信息,支持创建、修改、删除以及授权和查看权限等操作。
- 函数(Function)
在SQL查询中使用函数对数据进行特定处理,包括内置函数和用户自定义函数UDF。
- 分区(Partition)
分区是对数据表按照行维度进行分割,目的是为了在特定SQL操作中减少数据读写的总量以缩减响应时间。
-
-
数据权限授权
-
数据迁移
-
接入客户端管理
-
通过接入管理页面,可以简单快速地创建并管理接入客户端,在客户端详情中可以查看接入IP、接入域名等信息,用于多种服务接入LakeFormation实例。
已发布区域:以控制台实际上线区域为准。
-