目的端为HDFS
JSON样例
"to-config-values": { "configs": [ { "inputs": [ { "name": "toJobConfig.outputDirectory", "value": "/hdfsto" }, { "name": "toJobConfig.outputFormat", "value": "BINARY_FILE" }, { "name": "toJobConfig.writeToTempFile", "value": "false" }, { "name": "toJobConfig.duplicateFileOpType", "value": "REPLACE" }, { "name": "toJobConfig.compression", "value": "NONE" }, { "name": "toJobConfig.appendMode", "value": "true" } ], "name": "toJobConfig" } ] }
参数说明
参数 |
是否必选 |
类型 |
说明 |
---|---|---|---|
toJobConfig.outputDirectory |
是 |
String |
数据写入的路径,例如“/data_dir”。 |
toJobConfig.outputFormat |
是 |
枚举 |
写入数据时所用的文件格式(二进制除外),支持以下文件格式:
当选择“BINARY_FILE”时,源端也必须为文件系统。 |
toJobConfig.lineSeparator |
否 |
String |
行分割符号,当“toJobConfig.outputFormat”(文件格式)为“CSV_FILE”时此参数有效,默认值为:“\r\n”。 |
toJobConfig.fieldSeparator |
否 |
String |
列分割符号,当“toJobConfig.outputFormat”(文件格式)为“CSV_FILE”时此参数有效,默认值为:“,”。 |
toJobConfig.writeToTempFile |
否 |
Boolean |
将二进制文件先写入到临时文件(临时文件以“.tmp”作为后缀),迁移成功后,再进行rename或move操作,在目的端恢复文件。 |
toJobConfig.duplicateFileOpType |
否 |
枚举 |
重复文件处理方式,只有文件名和文件大小都相同才会判定为重复文件。重复文件支持以下处理方式:
|
toJobConfig.compression |
否 |
枚举 |
写入文件后,选择对文件的压缩格式。支持以下压缩格式:
|
toJobConfig.appendMode |
是 |
Boolean |
当加载路径已经存在文件,是否需要写入,默认值为“false”。 |
toJobConfig.encryption |
否 |
枚举 |
当“toJobConfig.outputFormat”(文件格式)为“BINARY_FILE”(二进制)时才有该参数,选择是否对导入的数据进行加密,以及加密方式:
|
toJobConfig.dek |
否 |
String |
数据加密密钥,“toJobConfig.encryption”(加密方式)选择“AES-256-GCM”时有该参数,密钥由长度64的十六进制数组成。 请您牢记这里配置的密钥,解密时的密钥与这里配置的必须一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 |
toJobConfig.iv |
否 |
String |
初始化向量,“toJobConfig.encryption”(加密方式)选择“AES-256-GCM”时有该参数,初始化向量由长度32的十六进制数组成。 请您牢记这里配置的初始化向量,解密时的初始化向量与这里配置的必须一致。如果不一致系统不会报异常,只是解密出来的数据会错误。 |
toJobConfig.filePrefix |
否 |
String |
自定义文件名前缀,支持时间宏。例如:test_${dateformat(yyyyMMdd, -1, DAY)} 注意文件名格式要符合hdfs文件路径命名规范。 |