文档首页/ 云数据迁移 CDM/ API参考/ 公共数据结构/ 源端作业参数说明/ 源端为HTTP/HTTPS
更新时间：2024-03-06 GMT+08:00
查看PDF
分享

源端为HTTP/HTTPS

JSON样例

"from-config-values": {
        "configs": [
          {
            "inputs": [
              {
                "name": "fromJobConfig.inputDirectory",
                "value": "http://10.114.196.186:8080/httpfrom/symbol.txt"
              },
              {
                "name": "fromJobConfig.inputFormat",
                "value": "BINARY_FILE"
              },
              {
                "name": "fromJobConfig.fromCompression",
                "value": "TARGZ"
              },
              {
                "name": "fromJobConfig.compressedFileSuffix",
                "value": "*"
              },
              {
                "name": "fromJobConfig.fileSeparator",
                "value": "|"
              }
            ],
            "name": "fromJobConfig"
          }
        ]
      }

参数说明

参数

是否必选

类型

说明

fromJobConfig.inputDirectory

是

String

待抽取文件的URL。

用于读取一个公网HTTP/HTTPS URL的文件，包括第三方对象存储的公共读取场景和网盘场景。

fromJobConfig.inputFormat

是

枚举

传输数据时所用的文件格式，目前只支持二进制格式。

fromJobConfig.fromCompression

否

枚举
选择对应压缩格式的源文件进行迁移：
  • NONE：表示传输所有格式的文件。
  • GZIP：表示只传输GZIP格式的文件。
  • ZIP：表示只传输ZIP格式的文件。
  • TAR.GZ：表示只传输TAR.GZ格式的文件。

fromJobConfig.compressedFileSuffix

否

String

需要解压缩的文件后缀名。当一批文件中以该值为后缀时，才会执行解压缩操作，否则保持原样传输。当输入*或为空时，所有文件都会被解压。

fromJobConfig.fileSeparator

否

String

传输多个文件时，CDM使用这里配置的文件分隔符来区分各个文件，默认为|。

fromJobConfig.useQuery

否

Boolean
  • 该参数设置为“true”时，上传到OBS的对象使用的对象名，为去掉query参数后的字符。
  • 该参数设置为“false”时，上传到OBS的对象使用的对象名，包含query参数。

fromJobConfig.md5FileSuffix

否

String

校验CDM抽取的文件，是否与源文件一致。
父主题： 源端作业参数说明

相关文档