更新时间:2022-08-17 GMT+08:00

目的端为FTP/SFTP/NAS(待下线)/SFS(待下线)

JSON样例

"to-config-values": {
                "configs": [
                    {
                        "inputs": [
                          {
                           "name": "toJobConfig.outputDirectory",
                           "value": "/opt/data"
                          },
                          {
                           "name": "toJobConfig.outputFormat",
                           "value": "CSV_FILE"
                          },
                          {
                           "name": "toJobConfig.fieldSeparator",
                           "value": ","
                          },
                          {
                           "name": "toJobConfig.duplicateFileOpType",
                           "value": "REPLACE"
                            }
                        ],
                        "name": "toJobConfig"
                    }
                ]
            }

参数说明

参数

是否必选

类型

说明

toJobConfig.outputDirectory

String

数据写入的路径,例如:“/data_dir”

toJobConfig.outputFormat

枚举

写入数据时所用的文件格式(二进制除外),支持以下文件格式:
  • CSV_FILE:按照CSV格式写入数据。
  • BINARY_FILE:二进制格式,不解析文件内容直接传输,CDM会原样写入文件,不改变原始文件格式。

当选择“BINARY_FILE”时,源端也必须为文件系统。

toJobConfig.duplicateFileOpType

枚举

重复文件处理方式,只有文件名和文件大小都相同才会判定为重复文件。重复文件支持以下处理方式:
  • REPLACE:替换重复文件。
  • SKIP:跳过重复文件。
  • ABANDON:发现重复文件停止任务。

toJobConfig.lineSeparator

String

行分割符号,当“toJobConfig.outputFormat”(文件格式)为“CSV_FILE”时此参数有效,默认值为:“\r\n

toJobConfig.fieldSeparator

String

列分割符号,当“toJobConfig.outputFormat”(文件格式)为“CSV_FILE”时此参数有效,默认值为:“,”

toJobConfig.encodeType

String

编码类型,例如:“UTF_8”“GBK”

toJobConfig.writeToTempFile

Boolean

将二进制文件先写入到临时文件(临时文件以“.tmp”作为后缀),迁移成功后,再进行rename或move操作,在目的端恢复文件。

toJobConfig.recordMD5Result

Boolean

文件格式为“二进制”时,该参数有效。对每个传输的文件都生成一个MD5值,并将该值记录在一个新文件中(新文件以“.md5”作为后缀),且可以指定MD5值生成的目录。

toJobConfig.recordMD5Directory

String

自定义MD5值写入的目录。

toJobConfig.markerFile

String

当作业执行成功时,会在写入目录下生成一个标识文件,文件名由用户指定,不指定时默认关闭该功能。

toJobConfig.firstRowAsHeader

Boolean

“toJobConfig.outputFormat”(文件格式)为“CSV_FILE”时才有该参数。在迁移表到CSV文件时,CDM默认是不迁移表的标题行,如果该参数选择“是”,CDM在才会将表的标题行数据写入文件。

toJobConfig.encryption

枚举

选择是否对上传的数据进行加密,以及加密方式:
  • NONE:不加密,直接写入数据。
  • AES-256-GCM:使用长度为256byte的AES对称加密算法,目前加密算法只支持AES-256-GCM(NoPadding)。

toJobConfig.dek

String

数据加密密钥,“toJobConfig.encryption”(加密方式)选择“AES-256-GCM”时有该参数,密钥由长度64的十六进制数组成。

请您牢记这里配置的密钥,解密时的密钥与这里配置的必须一致。如果不一致系统不会报异常,只是解密出来的数据会错误。

toJobConfig.iv

String

初始化向量,“toJobConfig.encryption”(加密方式)选择“AES-256-GCM”时有该参数,初始化向量由长度32的十六进制数组成。

请您牢记这里配置的初始化向量,解密时的初始化向量与这里配置的必须一致。如果不一致系统不会报异常,只是解密出来的数据会错误。