更新时间:2024-01-16 GMT+08:00

源端为Redis

JSON样例

"from-config-values": {
        "configs": [
          {
            "inputs": [
              {
                "name": "fromJobConfig.isBatchMigration",
                "value": "false"
              },
              {
                "name": "fromJobConfig.keyPrefix",
                "value": "rf_string_from"
              },
              {
                "name": "fromJobConfig.keySeparator",
                "value": ":"
              },
              {
                "name": "fromJobConfig.valueStoreType",
                "value": "STRING"
              },
              {
                "name": "fromJobConfig.valueSeparator",
                "value": ","
              },
              {
                "name": "fromJobConfig.columnList",
                "value": "1&2&3&4&5&6&7&8&9&10&11&12"
              }
            ],
            "name": "fromJobConfig"
          }
        ]
      }

参数说明

  • Redis源端作业参数说明

    参数

    是否必选

    类型

    说明

    fromJobConfig.isBatchMigration

    Boolean

    是否为整库迁移。

    fromJobConfig.keyPrefix

    String

    key前缀,对应关系表的表名。

    Redis和关系表的映射:用关系表的“表名+分隔符”来对应Redis的Key;关系表的一行数据对应Redis的Value。

    fromJobConfig.keySeparator

    String

    key分隔符,一般用来分割关系表和主键。

    fromJobConfig.valueStoreType

    String

    关系表行数据在Redis中的存储方式分为“string”“hash”两种存储方式。

    • STRING:表示用字符串通过分隔符来表示一行数据的各列,可以有效节省存储空间。
    • HASH:表示一行数据通过“列名:列值”的方式存储在hash表中。

    fromJobConfig.valueSeparator

    String

    值分隔符号,当“valueStoreType”“STRING”时此参数有效,默认值为:“\tab”

    fromJobConfig.columnList

    String

    需要抽取的字段列表,字段名之间使用“&”分割,例如:“id&gid&name”

    fromJobConfig.formats

    数据结构

    时间格式,请参见fromJobConfig.formats参数说明

  • fromJobConfig.formats参数说明

    参数

    是否必选

    类型

    说明

    name

    String

    列号,例如:“1”

    value

    String

    时间格式,例如:“yyyy-MM-dd”