更新时间：2024-03-06 GMT+08:00
目的端为Elasticsearch/云搜索服务
JSON样例
"to-config-values": {
"configs": [
{
"inputs": [
{
"name": "toJobConfig.index",
"value": "cdm"
},
{
"name": "toJobConfig.type",
"value": "type1"
},
{
"name": "toJobConfig.shouldClearType",
"value": "false"
},
{
"name": "toJobConfig.pipeLine",
"value": "es_03"
}
],
"name": "toJobConfig"
}
]
}
参数说明
|
参数 |
是否必选 |
类型 |
说明 |
|---|---|---|---|
|
toJobConfig.index |
是 |
String |
写入数据的索引，类似关系数据库中的数据库名称。 |
|
toJobConfig.type |
是 |
String |
写入数据的类型，类似关系数据库中的表名。 |
|
toJobConfig.shouldClearType |
否 |
Boolean |
导入前是否清除数据。 |
|
toJobConfig.primaryKey |
否 |
String |
主键或唯一索引。 |
|
toJobConfig.columnList |
否 |
String |
需要写入的字段列表，字段名之间使用“&”分隔，例如：“id&gid&name”。 |
|
toJobConfig.pipeLine |
否 |
String |
需要先在kibana中创建管道ID，这里才可以选择，该参数用于数据传到云搜索服务/Elasticsearch后，通过Elasticsearch的数据转换pipeline进行数据格式变换。 |
|
toJobConfig.createIndexStrategy |
否 |
枚举 |
对于持续写入数据到Elasticsearch的流式作业，CDM支持在Elasticsearch中定时创建新索引并写入数据，方便用户后期删除过期的数据。支持按以下周期创建新索引：
从文件类抽取数据时，必须配置单个抽取（“抽取并发数”参数配置为1），否则该参数无效。 |
