更新时间:2025-03-26 GMT+08:00

RawFormDataResponse

表1 RawFormDataResponse

参数

是否必选

参数类型

描述

project_id

否

String

项目ID。

task_name

否

String

任务名称。

task_type

否

String

任务类型。

- realtime (实时)

- timing (定时)

description

否

String

任务描述。

source_datasource_type

否

String

源端数据源类型。

source_datasource

否

String

源端数据源名称。

source_ds_id

否

String

源端数据源ID。

target_datasource_type

否

String

目标端数据源类型。

target_datasource

否

String

目标端数据源名称。

target_ds_id

否

String

目标端数据源ID。

need_mqs

否

Boolean

线下版本是否使用MQS作为内部通道。

- true (使用)

- false (不使用)

need_api

否

Boolean

线下版本是否使用API作为内部通道。

- true (使用)

- false (不使用)

need_email_new

否

Boolean

线下版本是否使用Email作为内部通道。

- true (使用)

- false (不使用)

source_selected_datasource

否

SourceSelectedDatasource

源端数据源。

target_selected_datasource

否

TargetSelectedDatasource

目标端数据源。

mapping_table

否

List<MappingTable>

源端与目标端的映射关系。

mapping_table_properties

否

List<MappTableProperties>

源端与目标端的映射关系特性,关系型数据源使用该属性,其他类型配置为空。

mapping_source_textornot

否

List<Flag>

源端映射是否为文本,默认值为false。

mapping_input

否

String

映射关系,可为空。

mapping_required

否

Boolean

是否需要映射关系,默认值为true。

- true (需要)

- false (不需要)

task_tag

否

String

任务标签。

表2 MappingTable

参数

是否必选

参数类型

描述

source_column

否

String

源端表字段的名称。

source_column_type

否

String

源端表字段的类型。

source_column_length

否

String

源端表字段的长度。

target_column

否

String

目标端字段的名称。

target_column_type

否

String

目标端表字段的类型。

target_column_length

否

String

目标端表字段的长度。

is_add_mapping

否

String

是否新增Mapping, 默认为false。

表3 TargetSelectedDatasource

参数

是否必选

参数类型

描述

instance_id

否

String

实例ID。

target_need_create_table

否

Boolean

目标端是否需要创建表,false。

is_support_clear_tab

否

Boolean

是否支持清空表,false。

target_table

否

String

目标端表名。

target_schema

否

String

目标端数据库模式,gauss100数据库使用。

batch_number

否

String

批量数据。

target_selected_column_list

否

List<Column>

目标端选择的列名列表。

support_part_update

否

Boolean

是否仅更新更改的字段。

如果开启此选项,仅更新值有变化的表字段。如果关闭此选项,则更新所有表字段。

meta_data

否

List<MetaData>

任务目标端数据源类型元数据定义。

path

否

String

文件路径,任务目标端填写FTP服务器中要访问的文件夹路径。

write_mode

否

String

写模式,文件型数据源,为必填项。

file_name_charset

否

String

文件名称字符编码,文件型数据源,为必填项。

file_content_type

否

String

文件内容类。

当文件内容类型为文本文件时,文件类型为csv or txt。

当文件内容类型为二进制文件时,文件类型为xls or xlsx。

- binaryFile (二进制文件)

- textFile (文本文件)

file_type

否

String

文件类型,文件型数据源,为必填项。

当文件内容类型为文本文件时,文件类型为csv或者txt。

当文件内容类型为二进制文件时,文件类型为xls或者xlsx。

file_name_prefix

否

String

文件名前缀。

null_format

否

String

空格格式符,定义文件中空格的格式。

remark_date_format

否

String

文件名后缀。

add_header

否

Boolean

是否添加文件头。

file_content_charset

否

String

文件内容字符编码。

field_delimiter

否

String

文件分隔符,文件默认以英文逗号","分隔。

表4 MappTableProperties

参数

是否必选

参数类型

描述

source_nullable

否

String

源端表字段是否可为空。

- 0 (不为空)

- 1 (可为空)

source_unique

否

String

源端表字段是否唯一。

- 0 (唯一)

- 1 (不唯一)

target_nullable

否

String

目标端表字段是否可为空。

- 0 (不为空)

- 1 (可为空)

target_unique

否

String

目标端表字段是否唯一。

- 0 (唯一)

- 1 (不唯一)

表5 Flag

参数

是否必选

参数类型

描述

flag

否

Boolean

是否为文本,默认值为false。

- true (是)

- false (否)

表6 Column

参数

是否必选

参数类型

描述

field_name

否

String

字段名。

field_type

否

String

字段类型。

field_length

否

String

字段长度。

null_able

否

String

是否为空。

- 0 (不为空)

- 1 (可为空)

unique

否

String

是否唯一。

- 0 (唯一)

- 1 (不唯一)

表7 SourceSelectedDatasource

参数

是否必选

参数类型

描述

instance_id

否

String

实例ID。

is_add_sql

否

Boolean

是否添加SQL语句,关系型数据库使用。

- true (添加)

- false(不添加)

query_sql

否

String

查询SQL语句,可为空,关系型数据库使用。

source_table

否

String

源端表名,关系型数据库使用。

source_schema

否

String

源端数据库模式,gauss100数据库使用。

source_selected_column_list

否

List<Column>

源端选择的字段名列表,关系型数据库使用。

order_column

否

String

源端排序的字段名,可为空,关系型数据库使用。

order_type

否

String

源端排序类型,可为空,关系型数据库使用。

- ASC (升序)

- DESC (降序)

source_date_column

否

String

源端,增量迁移使用的列名,关系型数据库使用。

data_timestamp

否

Integer

源端增量迁移初始时间值。

where

否

List<Where>

源端关系型或者Hive类型数据源的过滤条件语句,可为空。

where_options

否

List<WhereOptions>

源端筛选条件,可为空,关系型数据库使用,可筛选类型。

- equal

- notEqual

- less

- lessEqual

- more

- moreEqual

- isNull

- notNull

- between

- notBetween

- inList

- notInList

is_text_input

否

Boolean

是否为文本类型输入。

text_input_value

否

String

源端文本输入值,可为空。

meta_data

否

List<MetaData>

源端数据源类型元数据定义。

need_inc_migration

否

Boolean

源端数据是否进行增量迁移。

time_zone

否

String

源端数据进行增量迁移所使用的时区,默认GMT+08:00

reset_incr_begin_time

否

Boolean

源端增量迁移,是否重置增量迁移的开始时间。

compensation_time

否

String

源端增量迁移初始时间补偿时间。

is_parse

否

Boolean

是否解析。

如果选择了是,则不会透传数据。

如果选择了否,则会透传数据。

透传,即透明传输(pass-through),指的是将传输的内容由源端传输到目标端,不对数据内容做任何改变。

默认为true, 与source_meta_data值配对使用。

path

否

String

文件路径,填写FTP服务器中要访问的文件夹路径,例如“/data/FDI”。

file_name

否

String

文件名,填写FTP服务器中要访问的文件。

file_name_charset

否

String

文件名称字符编码。

max_file_size

否

Integer

最大文件大小。

file_content_charset

否

String

文件内容字符编码。

field_delimiter

否

String

文件分隔符。

null_format

否

String

空格格式符,定义文件中空格的格式。

batch_num

否

Integer

迁移数量。

是否解析(is_parse)如果选择了是,表示解析的数据行数,最大值为1500000;是否解析如果选择了否,表示文件数量,最大值为20000

skip_header

否

Boolean

跳过文件头。

“是否解析(is_parse)”选择“是”时需要配置。

选择是否跳过数据文件中的文件头信息。文件头为添加在文件中的首行或者开头若干行信息,帮助识别和区分文件内容。

skip_header_rows

否

Integer

跳过文件头行数。

extend_meta_data

否

List<MetaData>

源端数据源元数据配置信息的拓展信息。

source_meta_data

否

List<MetaData>

源端数据源元数据配置信息。

表8 Where

参数

是否必选

参数类型

描述

andor

否

String

条件筛选,and。

field_name

否

String

字段名。

field_type

否

String

字段类型。

op

否

String

筛选条件。

value

否

String

值。

minValue

否

String

最小值。

maxValue

否

String

最大值。

表9 WhereOptions

参数

是否必选

参数类型

描述

options

否

List<Options>

筛选条件,可为空,关系型数据库使用,可筛选类型。

- equal

- notEqual

- less

- lessEqual

- more

- moreEqual

- isNull

- notNull

- between

- notBetween

- inList

- notInList

表10 MetaData

参数

是否必选

参数类型

描述

dataSource

否

List<DataSource>

数据源mapping信息。

表11 Datasource

参数

是否必选

参数类型

描述

index

否

String

字段索引。

name

否

String

字段名字。

type

否

String

字段类型。

format

否

String

字段格式。

path

否

String

解析路径。

表12 Options

参数

是否必选

参数类型

描述

id

否

String

筛选类型ID。

label

否

String

筛选类型。