
# 配置HTTP源端参数
作业中源连接为HTTP连接时，源端作业参数如[表1]所示。当前只支持从HTTP URL导出数据，不支持导入。
 表1HTTP/HTTPS作为源端时的作业参数 
| 参数名         | 说明                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    | 取值样例                                            |
|:---|:---|:---|
| 文件URL       | 通过使用GET方法，从HTTP/HTTPS协议的URL中获取数据。 用于读取一个公网HTTP/HTTPS URL的文件，包括第三方对象存储的公共读取场景和网盘场景。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      | https://bucket.obs.myhuaweicloud.com/object-key |
| 列表文件        | 选择"是"，将待上传的文本文件中所有URL对应的文件拉取到OBS，文本文件记录的是HDFS上的文件路径。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  | 是                                               |
| 列表文件源连接     | 文本文件存储在OBS桶中，这里需要选择已建立的OBS连接。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         | obs_link                                        |
| 列表文件OBS桶    | 存储文本文件的OBS桶名称。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        | obs-cdm                                         |
| 列表文件或目录     | 在OBS中存储文本文件的文件自定义目录，多级目录可用"/"进行分隔。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    | test1                                           |
| 文件格式        | 传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景，二进制格式适用于文件迁移场景。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                      | 二进制格式                                           |
| 压缩格式        | 选择对应压缩格式的源文件进行迁移： - 无：表示传输所有格式的文件。  - GZIP：表示只传输GZIP格式的文件。  - ZIP：表示只传输ZIP格式的文件。  - TAR.GZ：表示只传输TAR.GZ格式的文件。   | 无                                               |
| 压缩文件后缀      | 压缩格式非无时，显示该参数。 该参数需要解压缩的文件后缀名。当一批文件中以该值为后缀时，才会执行解压缩操作，否则保持原样传输。当输入\*或为空时，所有文件都会被解压。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  | \*                                              |
| 文件分隔符       | 传输多个文件时，CDM使用这里配置的文件分隔符来区分各个文件，默认为\|。列表文件选择"是"时，不显示该参数。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                               | \|                                              |
| QUERY参数     | - 该参数设置为"是"时，上传到OBS的对象使用的对象名，为去掉query参数后的字符。  - 该参数设置为"否"时，上传到OBS的对象使用的对象名，包含query参数。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       | 否                                               |
| 忽略不存在原路径/文件 | 如果将其设为是，那么作业在源路径不存在的情况下也能成功执行。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        | 否                                               |
| MD5文件名后缀    | 校验CDM抽取的文件，是否与源文件一致，详细请参见[MD5校验文件一致性](https://support.huaweicloud.com/bestpractice-dataartsstudio/dataartsstudio_05_0011.html)。                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       | .md5                                            |
   
