更新时间:2024-08-01 GMT+08:00
分享

配置Drop Partition命令支持批量删除

本章节仅适用于MRS 3.2.0及之后版本。

配置场景

当前Spark中Drop Partition命令只支持等号来删除分区,配置该参数后可以支持多种过滤条件来批量删除,如'<','<=','>','>=','!>','!<'。

配置参数

登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。

参数

说明

默认值

spark.sql.dropPartitionsInBatch.enabled

配置为true后,使用Drop Partition命令支持使用如下过滤条件,如'<','<=','>','>=','!>','!<'。

true

spark.sql.dropPartitionsInBatch.limit

支持批量删除的最大分区数。

1000

相关文档