配置Elasticsearch/云搜索服务(CSS)目的端参数
作业中目的连接为Elasticsearch连接参数说明或云搜索服务(CSS)连接参数说明时,即将数据导入到Elasticsearch/云搜索服务(CSS)时,目的端作业参数如表1所示。
表/文件迁移和整库迁移时需配置的参数不同,下表参数为表/文件迁移时的全量参数,实际参数以界面显示为准。
参数名 |
说明 |
取值样例 |
---|---|---|
索引 |
待写入数据的Elasticsearch的索引,类似关系数据库中的数据库名称。CDM支持自动创建索引和类型,索引和类型名称只能全部小写,不能有大写。 |
index |
类型 |
待写入数据的Elasticsearch的类型,类似关系数据库中的表名称。类型名称只能全部小写,不能有大写。
说明:
Elasticsearch搜索引擎7.x及以上版本不支持自定义类型,只能使用_doc类型。此处即使自定义也不会生效。 |
type |
管道ID |
该参数用于数据传到Elasticsearch后,通过Elasticsearch的数据转换pipeline进行数据格式变换。 目的端为Elasticsearch时需要先在kibana中创建管道ID。 目的端为CSS时不需要创建管道ID,此参数填写配置文件名称,默认为name。 |
目的端为Elasticsearch时:pipeline_id 目的端为CSS时:name(name为配置文件名称) |
开启路由 |
开启路由后,支持指定某一列的值作为路由写入Elasticsearch。
说明:
开启路由前建议先建好目的端索引,可提高查询效率。 |
否 |
路由字段 |
“开启路由”参数选择为“是”时配置,用于配置目的端路由字段。目的端索引存在但是获取不到字段信息时,支持手动填写字段。路由字段允许为空,为空时写入Elasticsearch不指定routing值。 |
value1 |
定时创索引 |
对于持续写入数据到Elasticsearch的流式作业,CDM支持在Elasticsearch中定时创建新索引并写入数据,方便用户后期删除过期的数据。支持按以下周期创建新索引:
从文件类抽取数据时,必须配置单个抽取(“抽取并发数”参数配置为1),否则该参数无效。 |
每小时 |