更新时间:2023-11-29 GMT+08:00
分享

源端为Kafka

JSON样例

"from-config-values": {
           "configs": [
               {
                   "inputs": [
                       {
                       "name": "fromJobConfig.topicsList",
                       "value": "est1,est2"
                       },
                       {
                       "name": "fromJobConfig.kafkaConsumerStrategy",
                       "value": "EARLIEST"
                       },
                       {
                       "name": "fromJobConfig.isPermanency",
                       "value": "true"
                       }
                   ],
                   "name": "fromJobConfig"
               }
           ]
       }

参数说明

参数

是否必选

类型

说明

fromJobConfig.topicsList

String

Kafka topic列表,可以为多个topic,以“,”作为分隔符。

fromJobConfig.kafkaConsumerStrategy

枚举

从Kafka拉取数据时的初始偏移量设置:

  • LATEST:最大偏移量,即最新的数据。
  • EARLIEST:最小偏移量,即最老的数据。

fromJobConfig.isPermanency

Boolean

是否永久运行。

fromJobConfig.groupId

String

用户指定消费组ID。

如果是从DMS Kafka导出数据,专享版请任意输入,标准版请输入有效的消费组ID。

fromJobConfig.dataFormat

枚举

解析数据时使用的格式:

  • BINARY:适用于文件迁移场景,不解析数据内容原样传输。
  • CSV:以CSV格式解析源数据。

fromJobConfig.maxPollRecords

String

每次向Kafka请求数据限制最大请求记录数。

fromJobConfig.maxPollInterval

String

每次poll之间的最大时间间隔。

fromJobConfig.separator

String

字段分隔符。

相关文档