更新时间:2024-01-16 GMT+08:00
源端为Kafka
JSON样例
"from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig.topicsList", "value": "est1,est2" }, { "name": "fromJobConfig.kafkaConsumerStrategy", "value": "EARLIEST" }, { "name": "fromJobConfig.isPermanency", "value": "true" } ], "name": "fromJobConfig" } ] }
参数说明
参数 |
是否必选 |
类型 |
说明 |
---|---|---|---|
fromJobConfig.topicsList |
是 |
String |
Kafka topic列表,可以为多个topic,以“,”作为分隔符。 |
fromJobConfig.kafkaConsumerStrategy |
是 |
枚举 |
从Kafka拉取数据时的初始偏移量设置:
|
fromJobConfig.isPermanency |
是 |
Boolean |
是否永久运行。 |
fromJobConfig.groupId |
否 |
String |
用户指定消费组ID。 如果是从DMS Kafka导出数据,专享版请任意输入,标准版请输入有效的消费组ID。 |
fromJobConfig.dataFormat |
是 |
枚举 |
解析数据时使用的格式:
|
fromJobConfig.maxPollRecords |
否 |
String |
每次向Kafka请求数据限制最大请求记录数。 |
fromJobConfig.maxPollInterval |
否 |
String |
每次poll之间的最大时间间隔。 |
fromJobConfig.separator |
否 |
String |
字段分隔符。 |