更新时间:2024-01-16 GMT+08:00

源端为Elasticsearch/云搜索服务

JSON样例

"from-config-values": {
                "configs": [
                    {
                        "inputs": [
                            {
                                "name": "fromJobConfig.index",
                                "value": "cdm"
                            },
                            {
                                "name": "fromJobConfig.type",
                                "value": "es"
                            },
                            {
                                "name": "fromJobConfig.columnList",
                                "value": "a1:numeric&s1:string"
                            },
                           {
                               "name": "fromJobConfig.splitNestedField",
                               "value": "true"
                           },
                           {
                               "name": "fromJobConfig.queryString",
                               "value": "last_name:Smith"
                           }
                        ],
                        "name": "fromJobConfig"
                    }
                ]
            }

参数说明

参数

是否必选

类型

说明

fromJobConfig.index

String

抽取数据的索引,类似关系数据库中的数据库名称。

fromJobConfig.type

String

抽取数据的类型,类似关系数据库中的表名。

fromJobConfig.columnList

String

需要抽取的字段列表,字段名之间使用“&”分隔,例如:“id&gid&name”

fromJobConfig.splitNestedField

Boolean

选择是否将nested字段的json内容拆分,例如:将“a:{ b:{ c:1, d:{ e:2, f:3 } } }” 拆成三个字段“a.b.c”“a.b.d.e”“a.b.d.f”

fromJobConfig.queryString

String

使用Elasticsearch的查询字符串(query string)对源数据进行过滤,CDM只迁移满足过滤条件的数据。