更新时间:2024-12-25 GMT+08:00
分享

Delta清理和优化

清理Delta表

可以对 Delta 表运行 VACUUM 命令,以删除该表中不再引用且在保留期阈值之前创建的数据文件。

VACUUM delta_table0;
VACUUM delta_table0 RETAIN 168 HOURS;--单位只支持HOURS

优化Delta表

为了提高查询速度,Delta Lake支持优化数据在存储中的布局,这会将许多较小的文件压缩为较大的文件。

optimize delta_table0;
optimize delta_table0 where date >= '2020-01-01';

Z排序

Zordering是另一种加快查询速度的技术。对数据进行Z排序可以重新组织存储中的数据,当您的数据被适当地排序时,可以跳过更多的文件,读取更少的数据,从而运行得更快。要对Z-Order数据进行排序,请在ZORDER BY中指定要对其进行排序的列。

OPTIMIZE delta_table0 ZORDER BY (price);

相关文档