更新时间:2024-01-16 GMT+08:00
目的端为Elasticsearch/云搜索服务
JSON样例
"to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig.index", "value": "cdm" }, { "name": "toJobConfig.type", "value": "type1" }, { "name": "toJobConfig.shouldClearType", "value": "false" }, { "name": "toJobConfig.pipeLine", "value": "es_03" } ], "name": "toJobConfig" } ] }
参数说明
参数 |
是否必选 |
类型 |
说明 |
---|---|---|---|
toJobConfig.index |
是 |
String |
写入数据的索引,类似关系数据库中的数据库名称。 |
toJobConfig.type |
是 |
String |
写入数据的类型,类似关系数据库中的表名。 |
toJobConfig.shouldClearType |
否 |
Boolean |
导入前是否清除数据。 |
toJobConfig.primaryKey |
否 |
String |
主键或唯一索引。 |
toJobConfig.columnList |
否 |
String |
需要写入的字段列表,字段名之间使用“&”分隔,例如:“id&gid&name”。 |
toJobConfig.pipeLine |
否 |
String |
需要先在kibana中创建管道ID,这里才可以选择,该参数用于数据传到云搜索服务/Elasticsearch后,通过Elasticsearch的数据转换pipeline进行数据格式变换。 |
toJobConfig.createIndexStrategy |
否 |
枚举 |
对于持续写入数据到Elasticsearch的流式作业,CDM支持在Elasticsearch中定时创建新索引并写入数据,方便用户后期删除过期的数据。支持按以下周期创建新索引:
从文件类抽取数据时,必须配置单个抽取(“抽取并发数”参数配置为1),否则该参数无效。 |