更新时间:2024-11-29 GMT+08:00

Hive分区修剪的谓词下推增强

配置场景

在旧版本中,对Hive表的分区修剪的谓词下推,只支持列名与整数或者字符串的比较表达式的下推,在2.3版本中,增加了对null、in、and、or表达式的下推支持。在3.1.1及之后版本中,支持列名与char或者varchar类型的比较表达式的下推,添加对 !=、like、not like、not in表达式的下推支持。like、not like当前只支持%作为通配符。

  • char类型like下推表达式支持的格式:{value}%、%{value}%
  • not like下推表达式支持的格式:{value}%、%{value}%
  • varchar类型like下推表达式支持的格式:{value}%、%{value}%、%{value}、{value1}%{value2}
  • not like下推表达式支持的格式:{value}%、%{value}%、%{value}、{value1}%{value2}。

配置参数

登录FusionInsight Manager系统,选择“集群 > 服务 > Spark > 配置”,单击“全部配置”,搜索以下参数。

参数

说明

默认值

取值范围

spark.sql.hive.advancedPartitionPredicatePushdown.enabled

用于配置是否开启Hive表的分区谓词下推增强功能。

true

[true,false]

spark.sql.hive.varcharPartitionPredicatePushdown.enabled

用于配置是否支持char、varchar类型的谓词下推功能。

false

[true,false]