Delta清理和优化
清理Delta表
可以对 Delta 表运行 VACUUM 命令,以删除该表中不再引用且在保留期阈值之前创建的数据文件。
VACUUM delta_table0; VACUUM delta_table0 RETAIN 168 HOURS;--单位只支持HOURS
优化Delta表
为了提高查询速度,Delta Lake支持优化数据在存储中的布局,这会将许多较小的文件压缩为较大的文件。
optimize delta_table0; optimize delta_table0 where date >= '2020-01-01';
Z排序
Zordering是另一种加快查询速度的技术。对数据进行Z排序可以重新组织存储中的数据,当您的数据被适当地排序时,可以跳过更多的文件,读取更少的数据,从而运行得更快。要对Z-Order数据进行排序,请在ZORDER BY中指定要对其进行排序的列。
OPTIMIZE delta_table0 ZORDER BY (price);