源端为DIS
JSON样例
"from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig.streamName", "value": "cdm" }, { "name": "fromJobConfig.disConsumerStrategy", "value": "FROM_LAST_STOP" }, { "name": "fromJobConfig.isPermanency", "value": "true" }, { "name": "fromJobConfig.maxPollRecords", "value": "100" }, { "name": "fromJobConfig.shardId", "value": "0" }, { "name": "fromJobConfig.dataFormat", "value": "BINARY" }, { "name": "fromJobConfig.separator", "value": "," } ], "name": "fromJobConfig" } ] }
参数说明
参数 |
是否必选 |
类型 |
说明 |
---|---|---|---|
fromJobConfig.streamName |
是 |
String |
DIS的通道名。 |
fromJobConfig.disConsumerStrategy |
是 |
枚举 |
设置从DIS拉取数据时的初始偏移量:
|
fromJobConfig.isPermanency |
是 |
Boolean |
是否永久运行。 |
fromJobConfig.maxPollRecords |
否 |
String |
每次向DIS请求数据限制最大请求记录数。 |
fromJobConfig.shardId |
是 |
String |
DIS分区ID,该参数支持输入多个分区ID,使用“,”分隔。 |
fromJobConfig.dataFormat |
是 |
枚举 |
解析数据时使用的格式:
|
fromJobConfig.separator |
否 |
String |
字段分隔符。 |
fromJobConfig.appName |
否 |
String |
用户数据消费程序的唯一标识符。 |