更新时间:2026-09-18 GMT+08:00
分享

创建LakeFormation数据表

用户在一个数据库中可以创建多个数据表,用户可按照业务规划创建对应数据表。

LakeFormation当前支持创建以下类型的数据表:
  • HIVE:标准的表格格式。

    适用于传统数据仓库、离线批处理、Hadoop生态中的结构化数据查询。

  • ICEBERG:Apache Iceberg表格格式。

    适用于大规模结构化数据管理、实时分析、ACID事务需求高的场景。

  • LANCE:LANCE表格格式。

    适用于向量数据库、机器学习模型推理、高维数据相似性搜索。

前提条件

创建HIVE类型表

  1. 登录LakeFormation管理控制台
  2. 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据目录”。
  3. 单击待创建数据表所属Catalog名称,单击待创建数据表所属数据库名称,可以在“数据表”页签查看当前数据库中包含的数据表。
  4. 在“数据表”页签单击“创建”,并配置相关参数。

    表1 创建数据表参数

    参数

    参数说明

    表名称

    填写待创建的元数据表名称。

    只能包含中文、字母、数字、下划线、中划线,长度为1~256个字符。

    所属Catalog

    待创建表所属的Catalog。

    所属数据库

    待创建表所属的数据库。

    表类型

    待创建表的类型。HIVE表格格式支持以下表类型:

    • MANAGED_TABLE:管理表。如果删除管理表或分区,则与该表或分区关联的数据和元数据将被删除。
    • EXTERNAL_TABLE:外部表。当文件已经存在或位于远程位置时,使用外部表。
    • VIRTUAL_VIEW:虚拟视图。不存储实际的数据,不占用物理空间。
    • MATERIALIZED_VIEW:物化视图。存储实际的数据,占用物理空间。

    存储地址

    表所映射的OBS桶的文件目录。

    单击“”,选择表存储在OBS桶中的位置,单击“确定”。
    • 可选参数,如果不配置,则数据表存储路径为“上层数据库存储路径/表名”。
    • 如果配置该参数,则所选位置只能以“obs://”或“hdfs://”开头,且必须包含一个存储对象,例如选择“obs://lakeformation-test/catalog1/database1/table1”。如果没有合适的OBS桶,可以单击“前往OBS创建”进行创建。
    • 如果“表类型”选择“EXTERNAL_TABLE”,除支持存储到OBS以外,还支持存储到AIHub中。存储到AIHub时,存储地址以“aihub://”开头,且必须包含一个存储对象,例如“aihub://a/b”。
    • 该路径必须与所属的Catalog、数据库的存储路径不同。
    • 该路径不能与其他LakeFormation实例元数据存储路径重复,以免造成数据冲突。
    • 如果所属数据库配置了“数据表存储位置”参数,则此处存储位置必须选择为所属数据库“选择位置”的子路径、或“数据表存储位置”的子路径。

    描述

    所创建表的描述信息。

    长度为0~4000字节,1个中文字符对应3个字节。

    表格格式

    选择所创建表的表格格式。此处选择“HIVE”。

    • HIVE:标准的表格格式。

      适用于传统数据仓库、离线批处理、Hadoop生态中的结构化数据查询。

    • ICEBERG:Apache Iceberg表格格式。

      适用于大规模结构化数据管理、实时分析、ACID事务需求高的场景。

    • LANCE:LANCE表格格式。

      适用于向量数据库、机器学习模型推理、高维数据相似性搜索。

    数据源格式

    待创建表的数据源格式,根据实际需要选择。

    如果选择为“自定义”需要根据实际需求配置“输入格式”、“输出格式”、“Serde name”、“SerializationLib”参数。

    分隔符

    仅“数据源格式”为“Csv”时,需设置字段分隔符,请根据实际需要选择。

    Schema

    配置表的Schema信息。

    单击“Schema”区域的“添加”,根据实际需求配置相关参数。

    支持添加多条,并可在“操作”列中进行删除、上移、下移操作。

    表属性

    配置表属性。

    单击“表属性”区域的“添加”,并根据实际需要配置“Key”和“Value”的值。

    支持添加多条,并可在“操作”列中进行删除操作。

  5. 确认参数配置无误后,单击“提交”。创建完成后,即可在数据表页面查看相关信息。

创建ICEBERG类型表

  1. 登录LakeFormation管理控制台
  2. 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据目录”。
  3. 单击待创建数据表所属Catalog名称,单击待创建数据表所属数据库名称,可以在“数据表”页签查看当前数据库中包含的数据表。
  4. 在“数据表”页签单击“创建”,并配置相关参数。

    表2 创建表参数

    参数

    参数说明

    表名称

    填写待创建的元数据表名称。

    只能包含中文、字母、数字、下划线、中划线,长度为1~256个字符。

    所属Catalog

    待创建表所属的Catalog。

    所属数据库

    待创建表所属的数据库。

    表类型

    待创建表的类型。ICEBERG表格格式支持以下表类型:

    • MANAGED_TABLE:管理表。如果删除管理表或分区,则与该表或分区关联的数据和元数据将被删除。
    • EXTERNAL_TABLE:外部表。当文件已经存在或位于远程位置时,使用外部表。
    • VIRTUAL_VIEW:虚拟视图。不存储实际的数据,不占用物理空间。

    存储地址

    表所映射的OBS桶的文件目录。

    单击“”,选择表存储在OBS桶中的位置,单击“确定”。
    • 可选参数,如果不配置,则数据表存储路径为“上层数据库存储路径/表名”。
    • 如果配置该参数,则所选位置只能以“obs://”或“hdfs://”开头,且必须包含一个存储对象,例如选择“obs://lakeformation-test/catalog1/database1/table1”。如果没有合适的OBS桶,可以单击“前往OBS创建”进行创建。
    • 如果“表类型”选择“EXTERNAL_TABLE”,除支持存储到OBS以外,还支持存储到AIHub中。存储到AIHub时,存储地址以“aihub://”开头,且必须包含一个存储对象,例如“aihub://a/b”。
    • 该路径必须与所属的Catalog、数据库的存储路径不同。
    • 该路径不能与其他LakeFormation实例元数据存储路径重复,以免造成数据冲突。
    • 如果所属数据库配置了“数据表存储位置”参数,则此处存储位置必须选择为所属数据库“选择位置”的子路径、或“数据表存储位置”的子路径。

    描述

    所创建表的描述信息。

    长度为0~4000字节,1个中文字符对应3个字节。

    表格格式

    选择所创建表的表格格式。此处选择“ICEBERG”。

    • HIVE:标准的表格格式。

      适用于传统数据仓库、离线批处理、Hadoop生态中的结构化数据查询。

    • ICEBERG:Apache Iceberg表格格式。

      适用于大规模结构化数据管理、实时分析、ACID事务需求高的场景。

    • LANCE:LANCE表格格式。

      适用于向量数据库、机器学习模型推理、高维数据相似性搜索。

    Schema

    配置表的Schema信息。

    单击“Schema”区域的“添加”,根据实际需求配置相关参数。

    支持添加多条,并可在“操作”列中进行删除、上移、下移操作。

    表属性

    配置表属性。

    单击“表属性”区域的“添加”,并根据实际需要配置“Key”和“Value”的值。

    支持添加多条,并可在“操作”列中进行删除操作。

  5. 确认参数配置无误后,单击“提交”。创建完成后,即可在数据表页面查看相关信息。

创建LANCE类型表

  1. 登录LakeFormation管理控制台
  2. 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据目录”。
  3. 单击待创建数据表所属Catalog名称,单击待创建数据表所属数据库名称,可以在“数据表”页签查看当前数据库中包含的数据表。
  4. 在“数据表”页签单击“创建”,并配置相关参数。

    表3 创建表参数

    参数

    参数说明

    表名称

    填写待创建的元数据表名称。

    只能包含中文、字母、数字、下划线、中划线,长度为1~256个字符。

    所属Catalog

    待创建表所属的Catalog。

    所属数据库

    待创建表所属的数据库。

    表类型

    待创建表的类型。LANCE表格格式支持以下表类型:

    • MANAGED_TABLE:管理表。如果删除管理表或分区,则与该表或分区关联的数据和元数据将被删除。
    • EXTERNAL_TABLE:外部表。当文件已经存在或位于远程位置时,使用外部表。

    存储地址

    表所映射的OBS桶的文件目录。

    单击“”,选择表存储在OBS桶中的位置,单击“确定”。
    • 可选参数,如果不配置,则数据表存储路径为“上层数据库存储路径/表名”。
    • 如果配置该参数,则所选位置只能以“obs://”或“hdfs://”开头,且必须包含一个存储对象,例如选择“obs://lakeformation-test/catalog1/database1/table1”。如果没有合适的OBS桶,可以单击“前往OBS创建”进行创建。
    • 如果“表类型”选择“EXTERNAL_TABLE”,除支持存储到OBS以外,还支持存储到AIHub中。存储到AIHub时,存储地址以“aihub://”开头,且必须包含一个存储对象,例如“aihub://a/b”。
    • 该路径必须与所属的Catalog、数据库的存储路径不同。
    • 该路径不能与其他LakeFormation实例元数据存储路径重复,以免造成数据冲突。
    • 如果所属数据库配置了“数据表存储位置”参数,则此处存储位置必须选择为所属数据库“选择位置”的子路径、或“数据表存储位置”的子路径。

    描述

    所创建表的描述信息。

    长度为0~4000字节,1个中文字符对应3个字节。

    表格格式

    选择所创建表的表格格式。此处选择“LANCE”。

    • HIVE:标准的表格格式。

      适用于传统数据仓库、离线批处理、Hadoop生态中的结构化数据查询。

    • ICEBERG:Apache Iceberg表格格式。

      适用于大规模结构化数据管理、实时分析、ACID事务需求高的场景。

    • LANCE:LANCE表格格式。

      适用于向量数据库、机器学习模型推理、高维数据相似性搜索。

    Schema

    配置表的Schema信息。

    单击“Schema”区域的“添加”,根据实际需求配置相关参数。

    支持添加多条,并可在“操作”列中进行删除、上移、下移操作。

    表属性

    配置表属性。

    单击“表属性”区域的“添加”,并根据实际需要配置“Key”和“Value”的值。

    支持添加多条,并可在“操作”列中进行删除操作。

  5. 确认参数配置无误后,单击“提交”。创建完成后,即可在数据表页面查看相关信息。

相关文档

相关文档