更新时间:2022-08-17 GMT+08:00

目的端为Elasticsearch/云搜索服务

JSON样例

"to-config-values": {
                "configs": [
                    {
                        "inputs": [
                            {
                              "name": "toJobConfig.index",
                              "value": "cdm"
                            },
                            {
                              "name": "toJobConfig.type",
                              "value": "type1"
                            },
                            {
                              "name": "toJobConfig.shouldClearType",
                              "value": "false"
                            },
                           {
                              "name": "toJobConfig.pipeLine",
                              "value": "es_03"
                           }
                        ],
                        "name": "toJobConfig"
                    }
                ]
            }

参数说明

参数

是否必选

类型

说明

toJobConfig.index

String

写入数据的索引,类似关系数据库中的数据库名称。

toJobConfig.type

String

写入数据的类型,类似关系数据库中的表名。

toJobConfig.shouldClearType

Boolean

导入前是否清除数据。

toJobConfig.primaryKey

String

主键或唯一索引。

toJobConfig.columnList

String

需要写入的字段列表,字段名之间使用“&”分隔,例如:“id&gid&name”

toJobConfig.pipeLine

String

需要先在kibana中创建管道ID,这里才可以选择,该参数用于数据传到云搜索服务/Elasticsearch后,通过Elasticsearch的数据转换pipeline进行数据格式变换。

toJobConfig.createIndexStrategy

枚举

对于持续写入数据到Elasticsearch的流式作业,CDM支持在Elasticsearch中定时创建新索引并写入数据,方便用户后期删除过期的数据。支持按以下周期创建新索引:
  • EveryHour:每小时整点创建新索引,新索引的命名格式为“索引名+年+月+日+小时”,例如“index2018121709”
  • EveryDay:每天零点零分创建新索引,新索引的命名格式为“索引名+年+月+日”,例如“index20181217”
  • EveryWeek:每周周一的零点零分创建新索引,新索引的命名格式为“索引名+年+周”,例如“index201842”
  • EveryMonth:每月一号零点零分创建新索引,新索引的命名格式为“索引名+年+月”,例如“index201812”

从文件类抽取数据时,必须配置单个抽取(“抽取并发数”参数配置为1),否则该参数无效。