更新时间:2024-03-18 GMT+08:00

源端为HBase/CloudTable

JSON样例

"from-config-values": {
        "configs": [
          {
            "inputs": [
              {
                "name": "fromJobConfig.table",
                "value": "rf_from"
              },
              {
                "name": "fromJobConfig.columnFamilies",
                "value": "rowkey&f"
              },
              {
                "name": "fromJobConfig.columns",
                "value": "rowkey:rowkey&f:_small"
              },
              {
                "name": "fromJobConfig.formats",
                "value": {
                  "f:_date": "yyyy-MM-dd",
                  "f:_timestamp": "yyyy-MM-dd HH:mm:ss"
                }
              }
            ],
            "name": "fromJobConfig"
          }
        ]
      }

参数说明

  • HBase/CloudTable作业参数说明

    参数

    是否必选

    类型

    说明

    fromJobConfig.table

    String

    需要抽取数据的表名,例如“cdm”

    fromJobConfig.columnFamilies

    String

    抽取数据所属的列族。

    fromJobConfig.columns

    String

    需要抽取的列,列号之间使用“&”分割,列族与列之间用“:”分隔,例如:“cf1:c1&cf2:c2”

    fromJobConfig.isSplit

    Boolean

    选择是否拆分Rowkey,例如“true”

    fromJobConfig.delimiter

    String

    用于切分Rowkey的分隔符,若不设置则不切分,例如“|”

    fromJobConfig.startTime

    String

    时间区间左边界(包含该值),格式为“yyyy-MM-dd hh:mm:ss”

    表示只抽取该时间及以后的数据。

    fromJobConfig.endTime

    String

    时间区间右边界(不包含该值),格式为“yyyy-MM-dd hh:mm:ss”

    表示只抽取该时间以前的数据。

    fromJobConfig.formats

    数据结构

    时间格式,请参见fromJobConfig.formats参数说明

  • fromJobConfig.formats参数说明

    参数

    是否必选

    类型

    说明

    name

    String

    列号,例如:“1”

    value

    String

    时间格式,例如:“yyyy-MM-dd”