更新时间:2024-07-24 GMT+08:00
配置Drop Partition命令支持批量删除
本章节仅适用于MRS 3.2.0及之后版本。
配置场景
当前Spark中Drop Partition命令只支持等号来删除分区,配置该参数后可以支持多种过滤条件来批量删除,如'<','<=','>','>=','!>','!<'。
配置参数
登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。
参数 |
说明 |
默认值 |
---|---|---|
spark.sql.dropPartitionsInBatch.enabled |
配置为true后,使用Drop Partition命令支持使用如下过滤条件,如'<','<=','>','>=','!>','!<'。 |
true |
spark.sql.dropPartitionsInBatch.limit |
支持批量删除的最大分区数。 |
1000 |
父主题: Spark SQL企业级能力增强