更新时间:2024-10-24 GMT+08:00
        
          
          
        
      
      
      
      
      
      
      
      
  
      
      
      
        
配置MRS ClickHouse目的端参数
作业中目的连接为MRS ClickHouse连接时,目的端作业参数如表1所示。
 
  当作业源端为MRS ClickHouse、DWS及Hive时:
- 若int及float类型字段为null时,创建MRS ClickHouse表格时字段类型需设置为nullable(),否则写入到MRS ClickHouse的值会为0。
 - 请确认目的端表引擎是否为ReplicatedMergeTree引擎,该引擎自带去重机制,且去重数据不能准确预测,选用该引擎应保证数据唯一性,否则会造成不唯一数据被忽略写入,或尝试替换其他表引擎,例如MergeTree。
 
| 
       参数名  | 
     
       说明  | 
     
       取值样例  | 
    
|---|---|---|
| 
       模式或表空间  | 
     
       单击输入框后面的按钮可选择模式或表空间。  | 
     
       schema  | 
    
| 
       表名  | 
     
       输入或选择写入数据的目标表名。 单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 
        说明: 
        如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。  | 
     
       table  | 
    
| 
       导入开始前  | 
     
       
       导入数据前,选择是否清除目的表的数据:
        
  | 
     
       清除部分数据  | 
    
| 
       是否在集群操作  | 
     
       “导入开始前”参数选择为“清除部分数据”或“清除全部数据”时,显示该参数。如果设置为是,将对集群中的所有节点进行全部/部分数据清除操作。  | 
     
       是  | 
    
| 
       where条件  | 
     
       “导入开始前”参数选择为“清除部分数据”时配置,配置后导入前根据where条件删除目的表的数据。  | 
     
       age > 18 and age <= 60  | 
    
   父主题: 配置CDM作业目的端参数