更新时间:2026-03-20 GMT+08:00
目的端为Elasticsearch/云搜索服务
JSON样例
"to-config-values": {
"configs": [
{
"inputs": [
{
"name": "toJobConfig.index",
"value": "cdm"
},
{
"name": "toJobConfig.type",
"value": "type1"
},
{
"name": "toJobConfig.shouldClearType",
"value": "false"
},
{
"name": "toJobConfig.pipeLine",
"value": "es_03"
}
],
"name": "toJobConfig"
}
]
} 参数说明
参数 | 是否必选 | 类型 | 说明 |
|---|---|---|---|
toJobConfig.index | 是 | String | 写入数据的索引,类似关系数据库中的数据库名称。 |
toJobConfig.type | 是 | String | 写入数据的类型,类似关系数据库中的表名。 Elasticsearch索引类型,一般为_doc或者用户自定义类型。 |
toJobConfig.shouldClearType | 否 | Boolean | 导入前是否清除数据。 |
toJobConfig.primaryKey | 否 | String | 主键或唯一索引。 |
toJobConfig.columnList | 否 | String | 需要写入的字段列表,字段名之间使用“&”分隔,例如:“id&gid&name”。 |
toJobConfig.pipeLine | 否 | String | 需要先在kibana中创建管道ID,这里才可以选择,该参数用于数据传到云搜索服务/Elasticsearch后,通过Elasticsearch的数据转换pipeline进行数据格式变换。 |
toJobConfig.createIndexStrategy | 否 | 枚举 | 对于持续写入数据到Elasticsearch的流式作业,CDM支持在Elasticsearch中定时创建新索引并写入数据,方便用户后期删除过期的数据。支持按以下周期创建新索引:
从文件类抽取数据时,必须配置单个抽取(“抽取并发数”参数配置为1),否则该参数无效。 |

