创建LakeFormation数据库
LakeFormation的一个Catalog下可以创建多个数据库,通过集中式的元数据管理,可以有效提升数据资产价值。
前提条件
- 已创建LakeFormation实例,且实例处于正常运行状态,详细操作请参考创建LakeFormation实例。
- LakeFormation元数据存储到OBS中,当前用户需具有OBS相关操作权限。
- 已参考创建LakeFormation元数据存储路径提前创建了用于存储Catalog数据的OBS桶。
- 已创建LakeFormation Catalog,详细操作请参考创建LakeFormation Catalog。
创建数据库
- 登录LakeFormation管理控制台。
- 在左侧下拉框中选择待操作的LakeFormation实例,在左侧导航栏选择“数据目录”。
- 单击待创建数据库所属Catalog名称,可以在“数据库”页签查看当前Catalog中包含的数据库。
- 在“数据库”页签单击“创建”,配置相关参数。
- 在“基本信息”区域配置以下信息。
表1 创建数据库 参数
参数说明
库名称
填写待创建数据库名称。
只能包含中文、字母、数字、下划线、中划线,长度为1~128个字符。
所属Catalog
待创建数据库所属Catalog。
选择位置
数据库元数据存储在OBS桶中的位置。
单击“
”,根据实际需要选择“并行文件系统”或“对象存储桶”,并选择位置后,单击“确定”。- 所选位置只能以“obs://”开头,且必须包含一个存储对象,例如选择“obs://lakeformation-test/catalog1/database1”。如果没有合适的OBS桶,可以单击“前往OBS创建”进行创建。
- 该路径必须与所属的Catalog存储路径(即创建Catalog时配置的“选择位置”参数)不同。
- 该路径不能与其他LakeFormation实例元数据存储路径重复,以免造成数据冲突。
- 如果所属Catalog配置了“数据库存储位置”参数,则此处该参数必须选择为所属Catalog“选择位置”的子路径、或“数据库存储位置”的子路径。
- 仅“库类型”选择为“MANAGED_DATABASE”时支持配置该参数。
描述
所创建数据库的描述信息。
长度为0~4000字节,1个中文字符对应3个字节。
- (可选)配置其他参数。
表2 配置其他可选参数 参数
参数说明
数据表存储位置
单击“添加数据表存储位置”,单击“
”按照需求手动选择数据表存储位置,单击“确定”。支持添加多条。- “数据表存储位置”可选择为所属Catalog路径及其子路径、或“数据库存储位置”路径及其子路径。
- 如果配置了该参数,则该数据库下的数据表位置必须是该数据库“数据表存储位置”的子路径、或数据库“选择位置”的子路径。
函数存储位置
单击“添加函数存储位置”,单击“
”按照需求手动选择函数存储位置,单击“确定”。支持添加多条。- “函数存储位置”可选择为所属Catalog路径及其子路径、或“数据库存储位置”路径及其子路径。
- 如果配置了该参数,则该数据库下的函数位置必须选择为该数据库“函数存储位置”或数据库“选择位置”的子路径。
数据库参数
单击“添加数据库参数”,并根据实际情况输入“数据库参数键”和“数据库参数值”。参数配置可参考表3。
当前提供以下数据库参数参考,用户还可以根据需求添加其他参数。
表3 配置数据库参数 参数
参数说明
lakeformation.foreign.database.name
外置数据库映射的数据库名称。只能填写一个。
lakeformation.foreign.database.access.control.mode
访问控制方式。
- 支持配置以下取值:
- read_only:只读模式
- read_and_write:读写模式
- 如果不配置,则默认为“read_and_write”。
lakeformation.foreign.database.access.policy.source
权限策略来源,支持配置以下取值:
- lakeformation:外置数据库权限策略以LakeFormation为准。
- foreign:外置数据库权限策略以HiveMetastore为准。
默认值为“lakeformation”。
lakeformation.foreign.database.connection.name
连接名称(仅在通过MRS创建时需要指定)。
- 单击“提交”。
- 在“基本信息”区域配置以下信息。
- 创建完成后,即可在“数据库”页面查看数据库的相关信息。
相关文档
- 数据库创建完成后,如果需要对其进行查看、修改、删除等操作,请参考管理LakeFormation数据库。
- 如果需要对已删除的元数据进行恢复,请参考恢复LakeFormation元数据及数据。
- 如果需要对元数据进行授权,请参考配置LakeFormation元数据权限。