配置OBS目的端参数
支持使用CSV、CarbonData或二进制格式批量传输大量文件到OBS。
参数类型 |
参数名 |
说明 |
取值样例 |
---|---|---|---|
基本参数 |
桶名 |
写入数据的OBS桶名。 |
bucket_2 |
写入目录 |
写入数据到OBS服务器的目录,目录前面不加“/”。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。
说明:
如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 |
directory/ |
|
文件格式 |
传输数据时使用的格式。其中CSV和JSON仅支持迁移到数据表场景,二进制格式适用于文件迁移场景。例如:CSV格式。
写入后的文件格式,可选择以下文件格式:
如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,此处的“文件格式”只能选择与源端的文件格式一致。
说明:
|
CSV格式 |
|
重复文件处理方式 |
“文件格式”为“CSV”时不存在该参数。
|
REPLACE |
|
高级属性 |
字段分隔符 |
文件中的字段分隔符。“文件格式”为“二进制格式”时该参数值无效。 |
, |
写入文件大小 |
源端为数据库时该参数才显示,支持按大小分成多个文件存储,避免导出的文件过大,单位为MB。 |
1024 |
|
编码类型 |
文件编码类型,例如:“UTF-8”或“GBK”。“文件格式”为“二进制格式”时该参数值无效。 |
GBK |
|
首行为标题行 |
从关系型数据库导出数据到OBS,“文件格式”为“CSV格式”时,才有该参数。 在迁移表到CSV文件时,CDM默认是不迁移表的标题行,如果该参数选择“是”,CDM在才会将表的标题行数据写入文件。 |
否 |
|
校验MD5值 |
计算源文件的MD5值,并与OBS返回的MD5值进行校验。 “文件格式”为“二进制格式”时,才有该参数。 如果源端已经存在MD5文件,则直接读取源端的MD5文件与OBS返回的MD5值进行校验。例如:否 |
否 |
|
记录校验结果 |
“文件格式”为“二进制格式”时,才有该参数。 将MD5的校验结果写入到OBS。记录每个文件的校验结果。例如:否 |
否 |
|
作业成功标识文件 |
当作业执行成功时,会在写入目录下生成一个标识文件,文件名由用户指定。不指定时默认关闭该功能。 |
finish.txt |
|
使用包围符 |
“文件格式”为“CSV格式”,才有该参数,用于将数据库的表迁移到文件系统的场景。 选择“是”时,如果源端数据表中的某一个字段内容包含字段分隔符或换行符,写入目的端时CDM会使用双引号(")作为包围符将该字段内容括起来,作为一个整体存储,避免其中的字段分隔符误将一个字段分隔成两个,或者换行符误将字段换行。例如:数据库中某字段为hello,world,使用包围符后,导出到CSV文件的时候数据为"hello,world"。 |
否 |
|
自定义目录层次 |
选择“是”时,支持迁移后的文件按照自定义的目录存储。即只迁移文件,不迁移文件所归属的目录。 |
是 |
|
目录层次 |
自定义迁移后文件的存储路径,支持时间宏变量。
说明:
源端为关系型数据库数据源时,目录层次为源端表名+自定义目录,其他场景下为自定义目录。 |
${dateformat(yyyy-MM-dd HH:mm:ss, -1, DAY)} |
|
压缩格式 |
“文件格式”为“CSV”时不存在该参数。 选择对应压缩格式的源文件:
|
无 |
|
加密方式 |
选择是否对上传的数据进行加密,以及加密方式:
详细使用方法请参见迁移文件时加解密。 |
KMS |
|
KMS ID |
写入文件时加密使用的密钥,“加密方式”选择“KMS”时显示该参数。单击输入框后面的
|
53440ccb-3e73-4700-98b5-71ff5476e621 |
|
项目ID |
KMS ID所属的项目ID,该参数默认值为当前CDM集群所属的项目ID。
|
9bd7c4bd54e5417198f9591bef07ae67 |
|
复制Content-Type属性 |
“文件格式”为“二进制格式”时,才有该参数。 上传对象时复制源文件的“Content-Type”属性,主要用于静态网站的迁移场景。不支持写入到归档存储的桶。 |
否 |
|
自定义文件名 |
从关系型数据库导出数据到OBS,且“文件格式”为“CSV格式”时,才有该参数。
用户可以通过该参数自定义OBS端生成的文件名,支持以下自定义方式:
|
cdm |
|
Blob开关 |
从关系型数据库导出数据到OBS,才有该参数。 启用后将会以根目录-表名-数据类型-数据的文件夹模型生成文件。例如:raw_schema/tbl_student/datas/tbl_student_1.csv |
否 |
|
Blog文件扩展名 |
“文件夹模式”为“是”时,才有该参数。文件夹模式下自定义Blob/Clog数据的文件扩展名。 |
.dat/.jpg/.png |