更新时间:2024-11-06 GMT+08:00

源端为DIS

JSON样例

"from-config-values": {
          "configs": [
              {
                  "inputs": [
                      {
                         "name": "fromJobConfig.streamName",
                         "value": "cdm"
                      },
                      {
                         "name": "fromJobConfig.disConsumerStrategy",
                         "value": "FROM_LAST_STOP"
                      },
                      {
                         "name": "fromJobConfig.isPermanency",
                         "value": "true"
                      },
                      {
                         "name": "fromJobConfig.maxPollRecords",
                         "value": "100"
                      },
                      {
                         "name": "fromJobConfig.shardId",
                         "value": "0"
                      },
                      {
                         "name": "fromJobConfig.dataFormat",
                         "value": "BINARY"
                      },
                      {
                         "name": "fromJobConfig.separator",
                         "value": ","
                      }
                  ],
                  "name": "fromJobConfig"
              }
          ]
      }

参数说明

参数

是否必选

类型

说明

fromJobConfig.streamName

String

DIS的通道名。

fromJobConfig.disConsumerStrategy

枚举

设置从DIS拉取数据时的初始偏移量:

  • LATEST:最大偏移量,即最新的数据。
  • FROM_LAST_STOP:从上次停止处继续拉取。
  • EARLIEST:最小偏移量,即最早的数据。

fromJobConfig.isPermanency

Boolean

是否永久运行。

fromJobConfig.maxPollRecords

String

每次向DIS请求数据限制最大请求记录数。

fromJobConfig.shardId

String

DIS分区ID,该参数支持输入多个分区ID,使用“,”分隔。

fromJobConfig.dataFormat

枚举

解析数据时使用的格式:

  • BINARY:适用于文件迁移场景,不解析数据内容原样传输。
  • CSV:以CSV格式解析源数据。

fromJobConfig.separator

String

字段分隔符。

fromJobConfig.appName

String

用户数据消费程序的唯一标识符。