配置ElasticSearch源端参数
参数类型 |
参数名 |
说明 |
是否必须填 |
取值样例 |
---|---|---|---|---|
基本参数 |
索引 |
类似关系数据库的schema或数据库名称,整库迁移多索引以逗号分隔。 支持输入索引别名。 支持输入通配符表达式(*)。如果选择了多个索引,索引的结构必须一致。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。
说明:
如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 |
是 |
index_sample |
类型 |
类似关系数据库的schema或数据库名称,整库迁移多索引以逗号分隔。 支持输入索引别名。 支持输入通配符表达式(*)。如果选择了多个索引,索引的结构必须一致。 |
是 |
type_example |
|
高级属性 |
拆分nested类型字段 |
是否将nested字段的json内容拆分,如 a:{ b:{ c:1, d:{ e:2, f:3 } } } 将拆成三个字段 [a.b.c], [a.b.d.e], [a.b.d.f]。 |
否 |
是 |
过滤条件 |
对源数据进行过滤,使用ES查询的参数q语法。 |
否 |
last_name:Smith |
|
抽取元字段 |
是否抽取索引的元字段,目前只支持(_index、_type、_id、_score)。 例如:_index、_type、_id、_score。 |
否 |
_index |
|
分页大小 |
分页大小。 |
否 |
1000 |
|
ScrollId超时时间配置 |
ScrollId超时时间配置,默认5分钟。 |
否 |
5 |
|
重试次数 |
单次请求失败重试次数。最大限制重试次数10次。 |
否 |
3 |