更新时间:2024-08-29 GMT+08:00
分享

配置Doris目的端参数

当作业将数据导入到Doris时,目的端作业参数如表1所示。

表1 Doris作为目的端时的作业参数

参数类型

参数名

说明

取值样例

基本参数

模式或表空间

待写入数据的数据库名称,支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。

schema

表名

写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。

该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步

说明:

如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为(数据开发作业计划启动时间-偏移量),而不是(CDM作业实际启动时间-偏移量)。

table

导入开始前

导入数据前,选择是否清除目的表的数据:
  • 不清除:写入数据前不清除目标表中数据,数据追加写入。
  • 清除全部数据:写入数据前会清除目标表中数据。
  • 清除部分数据:需要配置“where条件”参数,CDM根据条件选择性删除目标表的数据。

清除部分数据

where条件

“导入开始前”参数选择为“清除部分数据”时配置,配置后导入前根据where条件删除目的表的数据。

age > 18 and age <= 60

stream load 配置参数

stream load 参数,。

max_filter_ratio=0

失败重试次数

配置失败重试的次数。

3

高级属性

导入前准备语句

执行任务之前率先执行的SQL语句。目前向导模式仅允许执行一条SQL语句。

create temp table

导入后完成语句

执行任务之后执行的SQL语句,目前仅允许执行一条SQL语句。

merge into

loader线程数

每个loader内部启动的线程数,可以提升写入并发数。

对于使用了Unique模型或者聚合函数replace等对插入顺序有要求的情况下,不建议使用并发能力。

并发场景下有如下限制:约束冲突处理策略不支持"replace into"或"on duplicate key update"。

1

相关文档