目的端为HDFS
JSON样例
"to-config-values": {
"configs": [
{
"inputs": [
{
"name": "toJobConfig.outputDirectory",
"value": "/hdfsto"
},
{
"name": "toJobConfig.outputFormat",
"value": "BINARY_FILE"
},
{
"name": "toJobConfig.writeToTempFile",
"value": "false"
},
{
"name": "toJobConfig.duplicateFileOpType",
"value": "REPLACE"
},
{
"name": "toJobConfig.compression",
"value": "NONE"
},
{
"name": "toJobConfig.appendMode",
"value": "true"
}
],
"name": "toJobConfig"
}
]
} 参数说明
参数 | 是否必选 | 类型 | 说明 |
|---|---|---|---|
toJobConfig.outputDirectory | 是 | String | 数据写入的路径，例如“/data_dir”。 |
toJobConfig.outputFormat | 是 | 枚举 | 写入数据时所用的文件格式（二进制除外），支持以下文件格式：
当选择“BINARY_FILE”时，源端也必须为文件系统。 |
toJobConfig.lineSeparator | 否 | String | 行分割符号，当“toJobConfig.outputFormat”（文件格式）为“CSV_FILE”时此参数有效，默认值为：“\r\n”。 |
toJobConfig.fieldSeparator | 否 | String | 列分割符号，当“toJobConfig.outputFormat”（文件格式）为“CSV_FILE”时此参数有效，默认值为：“,”。 |
toJobConfig.writeToTempFile | 否 | Boolean | 将二进制文件先写入到临时文件（临时文件以“.tmp”作为后缀），迁移成功后，再进行rename或move操作，在目的端恢复文件。 |
toJobConfig.duplicateFileOpType | 否 | 枚举 | 重复文件处理方式，只有文件名和文件大小都相同才会判定为重复文件。重复文件支持以下处理方式：
|
toJobConfig.compression | 否 | 枚举 | 写入文件后，选择对文件的压缩格式。支持以下压缩格式：
|
toJobConfig.appendMode | 是 | Boolean | 当加载路径已经存在文件，是否需要写入，默认值为“false”。 |
toJobConfig.encryption | 否 | 枚举 | 当“toJobConfig.outputFormat”（文件格式）为“BINARY_FILE”（二进制）时才有该参数，选择是否对导入的数据进行加密，以及加密方式：
|
toJobConfig.dek | 否 | String | 数据加密密钥，“toJobConfig.encryption”（加密方式）选择“AES-256-GCM”时有该参数，密钥由长度64的十六进制数组成。 请您牢记这里配置的密钥，解密时的密钥与这里配置的必须一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 |
toJobConfig.iv | 否 | String | 初始化向量，“toJobConfig.encryption”（加密方式）选择“AES-256-GCM”时有该参数，初始化向量由长度32的十六进制数组成。 请您牢记这里配置的初始化向量，解密时的初始化向量与这里配置的必须一致。如果不一致系统不会报异常，只是解密出来的数据会错误。 |
toJobConfig.filePrefix | 否 | String | 自定义文件名前缀，支持时间宏。例如：test_${dateformat(yyyyMMdd, -1, DAY)} 注意文件名格式要符合hdfs文件路径命名规范。 |
