Lance on Aura DDL语法说明

使用限制

Lance表不支持创建partition和bucket列。

创建Lance表

用户使用CREATE TABLE语法创建Lance表，需指定STORE AS Lance。具体语法，请参见CREATE TABLE。用户创建的Lance表元数据存储于LakeFormation中，主要包含表名、表路径、表当前版本号和表参数，Lance表实际数据文件存储于OBS桶中。

示例：

1
2
3
4
5
6
7
8
9

CREATE TABLE lance_tbl(
col1 int,
col2 array<double>,
col3 bytea
) 
TABLEPROPERTIES (
'enable.blob.col3'='true',
'arrow.fixed-size-list.col2' = '128' 
) STORE AS Lance;

TABLEPROPERTIES支持配置的表参数：

清空Lance表

通过TRUNCATE TABLE语法清空表中的数据。具体语法，请参见TRUNCATE。

示例：

1

TRUNCATE TABLE lance_tbl;

清理Lance表历史版本

通过VACUUM TABLE语法清理Lance表的历史版本及不再被引用的数据文件、事务文件、索引文件，回收OBS存储空间。Lance表在执行INSERT/UPDATE/DELETE/INSERT OVERWRITE/ALTER INDEX OPTIMIZE等操作后会产生新版本，旧版本及其引用的文件会持续保留，可通过VACUUM TABLE清理。

支持的清理选项：

• older_than_seconds：整型值，范围为1~31536000，仅清理产生时间超过该秒数的旧版本。省略时Lance内核使用默认值（14 天）。
• delete_rate_limit：整型值，范围为1~2147483647，删除操作的限速（次/秒），用于避免触发OBS限流。

VACUUM TABLE返回一行清理统计结果，包含6个字段：

Lance表数据压缩

通过Compaction操作对Lance表进行数据重写（Rewrite Data），将多个小Fragment合并为较大的Fragment，并按配置重新组织Fragment内部的Row Group，从而减少Fragment数量、降低元数据开销并优化查询性能。Lance表在多次执行 INSERT、DELETE 等操作后会产生多个Fragment以及删除标记文件（Deletion File），通过Compaction可以合并小Fragment，并根据配置选择是否物化删除（Materialize Deletions）已标记删除的数据。

支持的Compaction选项如下表所示：

示例：

基本用法：

1

OPTIMIZE lance_table REWRITE DATA;

指定目标Fragment数：

OPTIMIZE lance_table REWRITE DATA WITH OPTIONS ('target_rows_per_fragment' = '10000');

多参数配置：

OPTIMIZE lance_table REWRITE DATA  WITH OPTIONS (    'target_rows_per_fragment' = '10000',    'materialize_deletions' = 'true',    'materialize_deletions_threshold' = '0.2',    'max_source_fragments' = '50');

删除Lance表

通过DROP TABLE语法删除Lance表，会同时删除表的元数据及数据（Managed表删除后可以从LakeFormation控制台恢复表的元数据及数据）。具体语法，请参见DROP TABLE。

示例：

1

DROP TABLE lance_tbl;

修改表中的列

• 添加列：

  向一个指定表中添加一列或者多列，需要指定列名和数据类型，添加的列会追加到表的当前列后面。

  ALTER TABLE tbl_name ADD COLUMN col1 typ1, col2 typ2, ....;

• 删除列：

  删除一个指定表的一列或者多列，不能删除一个表的所有列。

  ALTER TABLE tbl_name DROP COLUMNS (col1, col2,...);

• 重命名列：

  重命名一个指定的列名，不能同时重命名多列。

  ALTER TABLE tbl_name RENAME COLUMN old_name TO new_name;

• 更改列类型：

  更改一个或多个指定列的数据类型为另一个类型。

  ALTER TABLE tbl_name ALTER COLUMN a TYPE new_type, b TYPE new_type, ...;

  当前仅支持从低精度类型更新到高精度类型，不支持以下范围之外的类型转换：

  • 整数类型：从smallint更新到int或者bigint，从int更新到bigint。
  • 浮点类型：从float4更新到float8。
  • numeric类型：从低精度（precision）更新到高精度（precision），不支持更新小数位数（scale）。
  • 字符串类型：varchar或者char的长度变长。

修改表参数

• 添加或修改参数：

  仅支持max.rows.per.file、max.bytes.per.file、lance.encoding.compression三个参数。

  ALTER TABLE tbl_name SET TABLEPROPERTIES('max.rows.per.file'='1024', 'max.bytes.per.file'='2048', 'lance.encoding.compression'='zstd');

• 移除表参数：

  仅支持max.rows.per.file、max.bytes.per.file、lance.encoding.compression三个参数。

  ALTER TABLE tbl_name UNSET TABLEPROPERTIES('max.rows.per.file', 'max.bytes.per.file', 'lance.encoding.compression');