更新时间:2024-11-29 GMT+08:00
支持Hive动态分区覆盖语义
配置场景
在旧版本中,使用insert overwrite语法覆写分区表时,只支持对指定的分区表达式进行匹配,未指定表达式的分区将被全部删除。在spark2.3版本中,增加了对未指定表达式的分区动态匹配的支持,此种语法与Hive的动态分区匹配语法行为一致。
配置参数
登录FusionInsight Manager系统,选择“集群 > 服务 > Spark > 配置”,单击“全部配置”,搜索以下参数。
参数 |
说明 |
默认值 |
取值范围 |
---|---|---|---|
spark.sql.sources.partitionOverwriteMode |
当前执行insert overwrite 命令插入数据到分区表时,支持两种模式:STATIC模式和DYNAMIC模式。STATIC模式下,Spark会按照匹配条件删除所有分区。在DYNAMIC模式下,Spark按照匹配条件匹配分区,并动态匹配没有指定匹配条件的分区。 |
STATIC |
[STATIC,DYNAMIC] |
父主题: 场景化参数