更新时间:2023-03-17 GMT+08:00
        
          
          
        
      
      
      
      
      
      
      
      
  
      
      
      
        
支持Hive动态分区覆盖语义
配置场景
在旧版本中,使用insert overwrite语法覆写分区表时,只支持对指定的分区表达式进行匹配,未指定表达式的分区将被全部删除。在spark2.3版本中,增加了对未指定表达式的分区动态匹配的支持,此种语法与Hive的动态分区匹配语法行为一致。
配置参数
登录FusionInsight Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。
| 
        参数  | 
      
        说明  | 
      
        默认值  | 
      
        取值范围  | 
     
|---|---|---|---|
| 
        spark.sql.sources.partitionOverwriteMode  | 
      
        当前执行insert overwrite 命令插入数据到分区表时,支持两种模式:STATIC模式和DYNAMIC模式。STATIC模式下,Spark会按照匹配条件删除所有分区。在DYNAMIC模式下,Spark按照匹配条件匹配分区,并动态匹配没有指定匹配条件的分区。  | 
      
        STATIC  | 
      
        [STATIC,DYNAMIC]  | 
     
   父主题: 场景化参数