更新时间:2024-07-24 GMT+08:00
Hive分区修剪的谓词下推增强
配置场景
在旧版本中,对Hive表的分区修剪的谓词下推,只支持列名与整数或者字符串的比较表达式的下推,在2.3版本中,增加了对null、in、and、or表达式的下推支持。
配置参数
登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。
参数 |
说明 |
默认值 |
取值范围 |
---|---|---|---|
spark.sql.hive.advancedPartitionPredicatePushdown.enabled |
用于配置是否开启Hive表的分区谓词下推增强功能。 |
true |
[true,false] |
父主题: Spark运维管理