创建LakeFormation数据表
用户在一个数据库中可以创建多个数据表,用户可按照业务规划创建对应数据表。
前提条件
- 已创建LakeFormation实例,且实例处于正常运行状态,详细操作请参考创建LakeFormation实例。
- LakeFormation元数据存储到OBS中,当前用户需具有OBS相关操作权限。
- 已参考创建LakeFormation元数据存储路径提前创建了用于存储Catalog数据的OBS桶。
- 已创建LakeFormation数据库,详细操作请参考创建LakeFormation数据库。
创建HIVE类型表
- 登录LakeFormation管理控制台。
- 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据目录”。
- 单击待创建数据表所属Catalog名称,单击待创建数据表所属数据库名称,可以在“数据表”页签查看当前数据库中包含的数据表。
- 在“数据表”页签单击“创建”,并配置相关参数。
表1 创建数据表参数 参数
参数说明
表名称
填写待创建的元数据表名称。
只能包含中文、字母、数字、下划线、中划线,长度为1~256个字符。
所属Catalog
待创建表所属的Catalog。
所属数据库
待创建表所属的数据库。
表类型
待创建表的类型。HIVE表格格式支持以下表类型:
- MANAGED_TABLE:管理表。如果删除管理表或分区,则与该表或分区关联的数据和元数据将被删除。
- EXTERNAL_TABLE:外部表。当文件已经存在或位于远程位置时,使用外部表。
- VIRTUAL_VIEW:虚拟视图。不存储实际的数据,不占用物理空间。
- MATERIALIZED_VIEW:物化视图。存储实际的数据,占用物理空间。
存储地址
表所映射的OBS桶的文件目录。
单击“
”,选择表存储在OBS桶中的位置,单击“确定”。 - 可选参数,如果不配置,则数据表存储路径为“上层数据库存储路径/表名”。
- 如果配置该参数,则所选位置只能以“obs://”或“hdfs://”开头,且必须包含一个存储对象,例如选择“obs://lakeformation-test/catalog1/database1/table1”。如果没有合适的OBS桶,可以单击“前往OBS创建”进行创建。
- 如果“表类型”选择“EXTERNAL_TABLE”,除支持存储到OBS以外,还支持存储到AIHub中。存储到AIHub时,存储地址以“aihub://”开头,且必须包含一个存储对象,例如“aihub://a/b”。
- 该路径必须与所属的Catalog、数据库的存储路径不同。
- 该路径不能与其他LakeFormation实例元数据存储路径重复,以免造成数据冲突。
- 如果所属数据库配置了“数据表存储位置”参数,则此处存储位置必须选择为所属数据库“选择位置”的子路径、或“数据表存储位置”的子路径。
描述
所创建表的描述信息。
长度为0~4000字节,1个中文字符对应3个字节。
表格格式
选择所创建表的表格格式。此处选择“HIVE”。
数据源格式
待创建表的数据源格式,根据实际需要选择。
如果选择为“自定义”需要根据实际需求配置“输入格式”、“输出格式”、“Serde name”、“SerializationLib”参数。
分隔符
仅“数据源格式”为“Csv”时,需设置字段分隔符,请根据实际需要选择。
Schema
配置表的Schema信息。
单击“Schema”区域的“添加”,根据实际需求配置相关参数。
支持添加多条,并可在“操作”列中进行删除、上移、下移操作。
表属性
配置表属性。
单击“表属性”区域的“添加”,并根据实际需要配置“Key”和“Value”的值。
支持添加多条,并可在“操作”列中进行删除操作。
- 确认参数配置无误后,单击“提交”。创建完成后,即可在数据表页面查看相关信息。
创建ICEBERG类型表
- 登录LakeFormation管理控制台。
- 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据目录”。
- 单击待创建数据表所属Catalog名称,单击待创建数据表所属数据库名称,可以在“数据表”页签查看当前数据库中包含的数据表。
- 在“数据表”页签单击“创建”,并配置相关参数。
表2 创建表参数 参数
参数说明
表名称
填写待创建的元数据表名称。
只能包含中文、字母、数字、下划线、中划线,长度为1~256个字符。
所属Catalog
待创建表所属的Catalog。
所属数据库
待创建表所属的数据库。
表类型
待创建表的类型。ICEBERG表格格式支持以下表类型:
- MANAGED_TABLE:管理表。如果删除管理表或分区,则与该表或分区关联的数据和元数据将被删除。
- EXTERNAL_TABLE:外部表。当文件已经存在或位于远程位置时,使用外部表。
- VIRTUAL_VIEW:虚拟视图。不存储实际的数据,不占用物理空间。
存储地址
表所映射的OBS桶的文件目录。
单击“
”,选择表存储在OBS桶中的位置,单击“确定”。 - 可选参数,如果不配置,则数据表存储路径为“上层数据库存储路径/表名”。
- 如果配置该参数,则所选位置只能以“obs://”或“hdfs://”开头,且必须包含一个存储对象,例如选择“obs://lakeformation-test/catalog1/database1/table1”。如果没有合适的OBS桶,可以单击“前往OBS创建”进行创建。
- 如果“表类型”选择“EXTERNAL_TABLE”,除支持存储到OBS以外,还支持存储到AIHub中。存储到AIHub时,存储地址以“aihub://”开头,且必须包含一个存储对象,例如“aihub://a/b”。
- 该路径必须与所属的Catalog、数据库的存储路径不同。
- 该路径不能与其他LakeFormation实例元数据存储路径重复,以免造成数据冲突。
- 如果所属数据库配置了“数据表存储位置”参数,则此处存储位置必须选择为所属数据库“选择位置”的子路径、或“数据表存储位置”的子路径。
描述
所创建表的描述信息。
长度为0~4000字节,1个中文字符对应3个字节。
表格格式
选择所创建表的表格格式。此处选择“ICEBERG”。
Schema
配置表的Schema信息。
单击“Schema”区域的“添加”,根据实际需求配置相关参数。
支持添加多条,并可在“操作”列中进行删除、上移、下移操作。
表属性
配置表属性。
单击“表属性”区域的“添加”,并根据实际需要配置“Key”和“Value”的值。
支持添加多条,并可在“操作”列中进行删除操作。
- 确认参数配置无误后,单击“提交”。创建完成后,即可在数据表页面查看相关信息。
创建LANCE类型表
- 登录LakeFormation管理控制台。
- 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据目录”。
- 单击待创建数据表所属Catalog名称,单击待创建数据表所属数据库名称,可以在“数据表”页签查看当前数据库中包含的数据表。
- 在“数据表”页签单击“创建”,并配置相关参数。
表3 创建表参数 参数
参数说明
表名称
填写待创建的元数据表名称。
只能包含中文、字母、数字、下划线、中划线,长度为1~256个字符。
所属Catalog
待创建表所属的Catalog。
所属数据库
待创建表所属的数据库。
表类型
待创建表的类型。LANCE表格格式支持以下表类型:
- MANAGED_TABLE:管理表。如果删除管理表或分区,则与该表或分区关联的数据和元数据将被删除。
- EXTERNAL_TABLE:外部表。当文件已经存在或位于远程位置时,使用外部表。
存储地址
表所映射的OBS桶的文件目录。
单击“
”,选择表存储在OBS桶中的位置,单击“确定”。 - 可选参数,如果不配置,则数据表存储路径为“上层数据库存储路径/表名”。
- 如果配置该参数,则所选位置只能以“obs://”或“hdfs://”开头,且必须包含一个存储对象,例如选择“obs://lakeformation-test/catalog1/database1/table1”。如果没有合适的OBS桶,可以单击“前往OBS创建”进行创建。
- 如果“表类型”选择“EXTERNAL_TABLE”,除支持存储到OBS以外,还支持存储到AIHub中。存储到AIHub时,存储地址以“aihub://”开头,且必须包含一个存储对象,例如“aihub://a/b”。
- 该路径必须与所属的Catalog、数据库的存储路径不同。
- 该路径不能与其他LakeFormation实例元数据存储路径重复,以免造成数据冲突。
- 如果所属数据库配置了“数据表存储位置”参数,则此处存储位置必须选择为所属数据库“选择位置”的子路径、或“数据表存储位置”的子路径。
描述
所创建表的描述信息。
长度为0~4000字节,1个中文字符对应3个字节。
表格格式
选择所创建表的表格格式。此处选择“LANCE”。
Schema
配置表的Schema信息。
单击“Schema”区域的“添加”,根据实际需求配置相关参数。
支持添加多条,并可在“操作”列中进行删除、上移、下移操作。
表属性
配置表属性。
单击“表属性”区域的“添加”,并根据实际需要配置“Key”和“Value”的值。
支持添加多条,并可在“操作”列中进行删除操作。
- 确认参数配置无误后,单击“提交”。创建完成后,即可在数据表页面查看相关信息。
相关文档
- 数据表创建完成后,如果需要对其进行查看、修改、删除等操作,请参考管理LakeFormation数据表。
- 如果需要对已删除的元数据进行恢复,请参考恢复LakeFormation元数据及数据。
- 如果需要对元数据进行授权,请参考配置LakeFormation元数据权限。