更新时间:2026-07-10 GMT+08:00
分享

LakeFormation元数据概述

LakeFormation通过创建元数据对象,提供统一的元数据管理能力,帮助用户构建结构化数据资产目录,提升数据治理效率。

LakeFormation元数据包括Catalog、数据库、数据表、函数、分区等。元数据的关系如下图所示。

图1 LakeFormation元数据

数据目录(Catalog)

LakeFormation实例的元数据资源中的最顶层资源,即在一个LakeFormation实例下可以创建多个Catalog,支持创建、修改、删除等操作。

其中位置是Catalog所映射的OBS桶的文件目录。

数据库(Database)

LakeFormation实例的数据目录(Catalog)的下级资源,即在一个Catalog下可以创建多个Database,支持创建、修改、删除以及授权和查看权限等操作。

其中位置是Database所映射的OBS桶的文件目录。

数据表(Table)

LakeFormation实例的数据库(Database)的下级资源,即在一个Database下可以创建多个Table,支持创建、修改、删除以及授权和查看权限等操作。

函数(Function)

在SQL查询中使用函数对数据进行特定处理,包括内置函数和用户自定义函数(User-Defined Functions,简称UDF)。

用户自定义函数分为以下几类:

  • 普通的UDF,用于操作单个数据行,且产生一个数据行作为输出。
  • 用户定义聚集函数(User-Defined Aggregating Functions,简称UDAF),用于接受多个输入数据行,并产生一个输出数据行。
  • 用户定义表生成函数(User-Defined Table-Generating Functions,简称UDTF),用于操作单个输入行,产生多个输出行。

分区(Partition)

分区是对数据表按照行维度进行分割,目的是为了在特定SQL操作中减少数据读写的总量以缩减响应时间。

相关文档