更新时间:2024-01-16 GMT+08:00
源端为DIS
JSON样例
"from-config-values": {
"configs": [
{
"inputs": [
{
"name": "fromJobConfig.streamName",
"value": "cdm"
},
{
"name": "fromJobConfig.disConsumerStrategy",
"value": "FROM_LAST_STOP"
},
{
"name": "fromJobConfig.isPermanency",
"value": "true"
},
{
"name": "fromJobConfig.maxPollRecords",
"value": "100"
},
{
"name": "fromJobConfig.shardId",
"value": "0"
},
{
"name": "fromJobConfig.dataFormat",
"value": "BINARY"
},
{
"name": "fromJobConfig.separator",
"value": ","
}
],
"name": "fromJobConfig"
}
]
}
参数说明
|
参数 |
是否必选 |
类型 |
说明 |
|---|---|---|---|
|
fromJobConfig.streamName |
是 |
String |
DIS的通道名。 |
|
fromJobConfig.disConsumerStrategy |
是 |
枚举 |
设置从DIS拉取数据时的初始偏移量:
|
|
fromJobConfig.isPermanency |
是 |
Boolean |
是否永久运行。 |
|
fromJobConfig.maxPollRecords |
否 |
String |
每次向DIS请求数据限制最大请求记录数。 |
|
fromJobConfig.shardId |
是 |
String |
DIS分区ID,该参数支持输入多个分区ID,使用“,”分隔。 |
|
fromJobConfig.dataFormat |
是 |
枚举 |
解析数据时使用的格式:
|
|
fromJobConfig.separator |
否 |
String |
字段分隔符。 |
|
fromJobConfig.appName |
否 |
String |
用户数据消费程序的唯一标识符。 |