了解数据目录、数据库和表
AI DataLake不直接存储元数据,所有元数据操作都转发给绑定的LakeFormation实例执行。
AI DataLake工作空间是业务单元,而LakeFormation实例是元数据服务载体。一个LakeFormation实例可被多个工作空间绑定,实现元数据共享和权限隔离。
本节操作介绍数据目录、数据库和表的基本概念,以及LakeFormation提供元数据管理、数据权限管理等操作。
数据目录与数据库和表的关系
数据目录负责管理元数据,数据库负责分类,表负责描述具体数据集,OBS负责存储数据,而LakeFormation负责数据统一权限控制和治理。
- 数据目录记录数据存放在哪里、表结构是什么、数据格式如何以及谁有权限访问这些数据。
- 数据库是数据目录中的逻辑分类单位,用来把一组相关的表组织在一起。
- 表则是对具体数据集的定义,描述了底层数据在OBS桶中的位置、字段、分区和格式等信息。
数据目录
数据目录就是LakeFormation中保存元数据的管理体系,可以统一管理所有数据库,记录数据库的位置、权限、元数据(描述数据的数据),即数据目录并不是直接存储数据内容,而是保存“关于数据的数据”,即元数据。
数据库
数据库是数据目录的子单元,它是按照数据结构来组织、存储和管理数据的,通常用于存储、检索和管理结构化数据,由多个数据表组成,这些数据表通过键和索引相互关联。
表
表是数据库最重要的组成部分,是结构化存储数据的二维表格,它由行和列组成。每一行代表一个数据项,每一列代表数据的一个属性或特征。表用于组织和存储特定类型的数据,使得数据可以被有效地查询和分析。
数据库是一个框架,表是其实质内容。一个数据库包含一个或者多个表。
创建数据库和表时,有权限控制,需要对其他用户授权,其他用户才可查看该用户新建的数据库和表。
表的元数据
元数据(Metadata)是用来定义数据类型的数据。主要是描述数据自身信息,包含源、大小、格式或其他数据特征。数据库字段中,元数据用于诠释数据仓库的内容。
创建表时,会定义元数据,由列名、类型、列描述三列组成。