更新时间:2024-07-24 GMT+08:00
配置Hive表分区动态覆盖
配置场景
在旧版本中,使用insert overwrite语法覆写分区表时,只支持对指定的分区表达式进行匹配,未指定表达式的分区将被全部删除。在spark2.3版本中,增加了对未指定表达式的分区动态匹配的支持,此种语法与Hive的动态分区匹配语法行为一致。
配置参数
登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。
参数 |
说明 |
默认值 |
取值范围 |
---|---|---|---|
spark.sql.sources.partitionOverwriteMode |
当前执行insert overwrite命令插入数据到分区表时,支持两种模式:STATIC模式和DYNAMIC模式。
|
STATIC |
[STATIC,DYNAMIC] |
父主题: Spark SQL企业级能力增强