目的端为HDFS
JSON样例
"to-config-values": {
"configs": [
{
"inputs": [
{
"name": "toJobConfig.outputDirectory",
"value": "/hdfsto"
},
{
"name": "toJobConfig.outputFormat",
"value": "BINARY_FILE"
},
{
"name": "toJobConfig.writeToTempFile",
"value": "false"
},
{
"name": "toJobConfig.duplicateFileOpType",
"value": "REPLACE"
},
{
"name": "toJobConfig.compression",
"value": "NONE"
},
{
"name": "toJobConfig.appendMode",
"value": "true"
}
],
"name": "toJobConfig"
}
]
}
参数说明
参数 |
是否必选 |
类型 |
说明 |
|---|---|---|---|
toJobConfig.outputDirectory |
是 |
String |
数据写入的路径，例如“/data_dir”。 |
toJobConfig.outputFormat |
是 |
枚举 |
写入数据时所用的文件格式（二进制除外），支持以下文件格式：
当选择“BINARY_FILE”时，源端也必须为文件系统。 |
toJobConfig.lineSeparator |
否 |
String |
行分割符号，当“toJobConfig.outputFormat”（文件格式）为“CSV_FILE”时此参数有效，默认值为：“\r\n”。 |
toJobConfig.fieldSeparator |
否 |
String |
列分割符号，当“toJobConfig.outputFormat”（文件格式）为“CSV_FILE”时此参数有效，默认值为：“,”。 |
toJobConfig.writeToTempFile |
否 |
Boolean |
将二进制文件先写入到临时文件（临时文件以“.tmp”作为后缀），迁移成功后，再进行rename或move操作，在目的端恢复文件。 |
toJobConfig.duplicateFileOpType |
否 |
枚举 |
重复文件处理方式，只有文件名和文件大小都相同才会判定为重复文件。重复文件支持以下处理方式：
|
toJobConfig.compression |
否 |
枚举 |
写入文件后，选择对文件的压缩格式。支持以下压缩格式：
|
toJobConfig.appendMode |
是 |
Boolean |
当加载路径已经存在文件，是否需要写入，默认值为“false”。 |
toJobConfig.encryption |
否 |
枚举 |
当“toJobConfig.outputFormat”（文件格式）为“BINARY_FILE”（二进制）时才有该参数，选择是否对导入的数据进行加密，以及加密方式：
|
toJobConfig.dek |
否 |
String |
数据加密密钥，“toJobConfig.encryption”（加密方式）选择“AES-256-GCM”时有该参数，密钥由长度64的十六进制数组成。 请您牢记这里配置的密钥，解密时的密钥与这里配置的必须一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 |
toJobConfig.iv |
否 |
String |
初始化向量，“toJobConfig.encryption”（加密方式）选择“AES-256-GCM”时有该参数，初始化向量由长度32的十六进制数组成。 请您牢记这里配置的初始化向量，解密时的初始化向量与这里配置的必须一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 |
toJobConfig.filePrefix |
否 |
String |
自定义文件名前缀，支持时间宏。例如：test_${dateformat(yyyyMMdd, -1, DAY)} 注意文件名格式要符合hdfs文件路径命名规范。 |
