更新时间:2022-08-17 GMT+08:00

源端为HTTP/HTTPS

JSON样例

"from-config-values": {
        "configs": [
          {
            "inputs": [
              {
                "name": "fromJobConfig.inputDirectory",
                "value": "http://10.114.196.186:8080/httpfrom/symbol.txt"
              },
              {
                "name": "fromJobConfig.inputFormat",
                "value": "BINARY_FILE"
              },
              {
                "name": "fromJobConfig.fromCompression",
                "value": "TARGZ"
              },
              {
                "name": "fromJobConfig.compressedFileSuffix",
                "value": "*"
              },
              {
                "name": "fromJobConfig.fileSeparator",
                "value": "|"
              }
            ],
            "name": "fromJobConfig"
          }
        ]
      }

参数说明

参数

是否必选

类型

说明

fromJobConfig.inputDirectory

String

待抽取文件的URL。

用于读取一个公网HTTP/HTTPS URL的文件,包括第三方对象存储的公共读取场景和网盘场景。

fromJobConfig.inputFormat

枚举

传输数据时所用的文件格式,目前只支持二进制格式。

fromJobConfig.fromCompression

枚举

选择对应压缩格式的源文件进行迁移:
  • NONE:表示传输所有格式的文件。
  • GZIP:表示只传输GZIP格式的文件。
  • ZIP:表示只传输ZIP格式的文件。
  • TAR.GZ:表示只传输TAR.GZ格式的文件。

fromJobConfig.compressedFileSuffix

String

需要解压缩的文件后缀名。当一批文件中以该值为后缀时,才会执行解压缩操作,否则则保持原样传输。当输入*或为空时,所有文件都会被解压。

fromJobConfig.fileSeparator

String

传输多个文件时,CDM使用这里配置的文件分隔符来区分各个文件,默认为|。

fromJobConfig.useQuery

Boolean

  • 该参数设置为“true”时,上传到OBS的对象使用的对象名,为去掉query参数后的字符。
  • 该参数设置为“false”时,上传到OBS的对象使用的对象名,包含query参数。

fromJobConfig.decryption

枚举

导出文件时,选择是否对已加密的文件解密后再导出,以及解密方式:
  • NONE:不解密,直接导出文件。
  • AES-256-GCM:使用AES-256-GCM(NoPadding)算法解密后再导出文件。

fromJobConfig.dek

String

数据解密密钥,密钥由长度64的十六进制数组成,且必须与加密时配置的“toJobConfig.dek”(导入时配置的数据加密密钥)一致。如果不一致系统不会报异常,只是解密出来的数据会错误。

fromJobConfig.iv

String

解密需要的初始化向量,初始化向量由长度32的十六进制数组成,且必须与加密时配置的“toJobConfig.iv”(导入时配置的初始化向量)一致。如果不一致系统不会报异常,只是解密出来的数据会错误。

fromJobConfig.md5FileSuffix

String

校验CDM抽取的文件,是否与源文件一致。