更新时间:2024-11-29 GMT+08:00
Hive分区修剪的谓词下推增强
配置场景
在旧版本中,对Hive表的分区修剪的谓词下推,只支持列名与整数或者字符串的比较表达式的下推,在2.3版本中,增加了对null、in、and、or表达式的下推支持。在3.1.1及之后版本中,支持列名与char或者varchar类型的比较表达式的下推,添加对 !=、like、not like、not in表达式的下推支持。like、not like当前只支持%作为通配符。
- char类型like下推表达式支持的格式:{value}%、%{value}%
- not like下推表达式支持的格式:{value}%、%{value}%
- varchar类型like下推表达式支持的格式:{value}%、%{value}%、%{value}、{value1}%{value2}
- not like下推表达式支持的格式:{value}%、%{value}%、%{value}、{value1}%{value2}。
配置参数
登录FusionInsight Manager系统,选择“集群 > 服务 > Spark > 配置”,单击“全部配置”,搜索以下参数。
参数 |
说明 |
默认值 |
取值范围 |
---|---|---|---|
spark.sql.hive.advancedPartitionPredicatePushdown.enabled |
用于配置是否开启Hive表的分区谓词下推增强功能。 |
true |
[true,false] |
spark.sql.hive.varcharPartitionPredicatePushdown.enabled |
用于配置是否支持char、varchar类型的谓词下推功能。 |
false |
[true,false] |
父主题: 场景化参数