文档首页 > > 用户指南> 作业管理> 配置作业源端参数> 配置HTTP/HTTPS源端参数

配置HTTP/HTTPS源端参数

分享
更新时间:2020/08/12 GMT+08:00

作业中源连接为HTTP连接时,源端作业参数如表1所示。当前只支持从HTTP/HTTPS URL导出数据,不支持导入。

表1 HTTP作为源端时的作业参数

参数名

说明

取值样例

文件URL

通过使用GET方法,从HTTP/HTTPS协议的URL中获取数据。

用于读取一个公网HTTP/HTTPS URL的文件,包括第三方对象存储的公共读取场景和网盘场景。

https://bucket.obs.myhuaweicloud.com/object-key

文件格式

当前CDM只支持选择“二进制格式”,不解析文件内容直接传输,不要求原文件格式必须为二进制。

二进制格式

压缩格式

选择对应压缩格式的源文件进行迁移:
  • NONE:表示传输所有格式的文件。
  • GZIP:表示只传输GZIP格式的文件。
  • ZIP:表示只传输ZIP格式的文件。
  • TAR.GZ:表示只传输TAR.GZ格式的文件。

NONE

压缩文件后缀

压缩格式非NONE时,显示该参数。

该参数需要解压缩的文件后缀名。当一批文件中以该值为后缀时,才会执行解压缩操作,否则则保持原样传输。当输入*或为空时,所有文件都会被解压。

*

文件分隔符

传输多个文件时,CDM使用这里配置的文件分隔符来区分各个文件,默认为|。列表文件选择“是”时,不显示该参数。

|

QUERY参数

  • 该参数设置为“是”时,上传到OBS的对象使用的对象名,为去掉query参数后的字符。
  • 该参数设置为“否”时,上传到OBS的对象使用的对象名,包含query参数。

加密方式

如果源端数据是被加密过的,则CDM支持解密后再导出。这里选择是否对源端数据解密,以及选择解密算法:
  • 无:不解密,直接导出。
  • AES-256-GCM:使用长度为256byte的AES对称加密算法,目前加密算法只支持AES-256-GCM(NoPadding)。该参数在目的端为加密,在源端为解密。

详细使用方法请参见迁移文件时加解密

AES-256-GCM

数据加密密钥

“加密方式”选择“AES-256-GCM”时显示该参数,密钥由长度64的十六进制数组成,且必须与加密时配置的“数据加密密钥”一致。如果不一致系统不会报异常,只是解密出来的数据会错误。

DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B

初始化向量

“加密方式”选择“AES-256-GCM”时显示该参数,初始化向量由长度32的十六进制数组成,且必须与加密时配置的“初始化向量”一致。如果不一致系统不会报异常,只是解密出来的数据会错误。

5C91687BA886EDCD12ACBC3FF19A3C3F

MD5文件名后缀

校验CDM抽取的文件,是否与源文件一致,详细请参见MD5校验文件一致性

.md5

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问