配置HDFS目的端参数
参数类型 | 参数名 | 说明 | 取值样例 |
|---|---|---|---|
基本参数 | 写入目录 | 写入数据到HDFS服务器的目录。 | /user/cdm/output |
文件格式 | 传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景，二进制格式适用于文件迁移场景。 | CSV格式 | |
换行符处理方式 | 指定在写入文本文件表的数据包含换行符，特指(\n|\r|\r\n)的情况下处理换行符的策略。
| 删除 | |
换行符替换字符串 | 当换行符处理方式选择为替换时，指定替换的字符串。 | - | |
高级属性 | 写入到临时文件 | 文件格式为二进制格式时显示该参数。 将二进制文件先写入到临时文件。临时文件以".tmp"作为后缀。 | 否 |
换行符 | 文件格式为CSV格式时显示该参数。 文件中的换行符，默认自动识别"\n"、"\r"或"\r\n"。手动配置特殊字符，如空格回车需使用URL编码后的值。或通过编辑作业json方式配置，无需URL编码。 | \n | |
字段分隔符 | 文件格式为CSV格式时显示该参数。 文件中的字段分隔符。配置特殊字符需先url编码。 | , | |
作业成功标识文件 | 标识文件名。 当作业成功时，在写入目录下生成标识文件。不输入文件名时不启用该功能。 | finish.txt | |
使用包围符 | 文件格式为CSV格式时显示该参数。 使用包围符来括住字符串值。包围符内的字段分隔符被视为字符串值的一部分，目前只支持"作为包围符。 | 否 | |
自定义目录层次 | 支持用户自定义文件的目录层次。 例如：【表名】/【年】/【月】/【日】/【数据文件名】. csv | 否 | |
目录层次 | 自定义目录层次选择是时显示该参数。 指定文件的目录层次，支持时间宏（时间格式为yyyy/MM/dd）。源端为关系型数据库数据源时，目录层次为源端表名+自定义目录，其他场景下为自定义目录。 | ${dateformat(yyyy/MM/dd, -1, DAY)} | |
文件名前缀 | 文件格式为CSV格式时显示该参数。 设置文件名前缀。 文件名格式：prefix-jobname-timestamp-index。 | data | |
压缩格式 | 文件格式为CSV格式时显示该参数。 选择写入文件的压缩格式。
| SNAPPY | |
加密方式 | 文件格式为二进制格式时显示该参数。 对上传的数据进行加密。
| 无 | |
数据加密密钥 | 文件格式为二进制格式且选择加密方式时显示该参数。 数据加密密钥（Data Encryption Key），AES-256-GCM密钥由长度64的十六进制数组成。 | DD0AE00DFECD78BF051BCFDA25BD4E320DB0A7AC75A1F3FC3D3C56A457DCDC1B | |
初始化向量 | 文件格式为二进制格式且选择加密方式时显示该参数。 设置初始化向量，由长度32的十六进制数组成。 | 5C91687BA886EDCD12ACBC3FF19A3C3F |
