更新时间:2024-10-30 GMT+08:00
分享

RawFormDataResponse

表1 RawFormDataResponse

参数

是否必选

参数类型

描述

project_id

String

项目ID。

task_name

String

任务名称。

task_type

String

任务类型。

- realtime (实时)

- timing (定时)

description

String

任务描述。

source_datasource_type

String

源端数据源类型。

source_datasource

String

源端数据源名称。

source_ds_id

String

源端数据源ID。

target_datasource_type

String

目标端数据源类型。

target_datasource

String

目标端数据源名称。

target_ds_id

String

目标端数据源ID。

need_mqs

Boolean

线下版本是否使用MQS作为内部通道。

- true (使用)

- false (不使用)

need_api

Boolean

线下版本是否使用API作为内部通道。

- true (使用)

- false (不使用)

need_email_new

Boolean

线下版本是否使用Email作为内部通道。

- true (使用)

- false (不使用)

source_selected_datasource

SourceSelectedDatasource

源端数据源。

target_selected_datasource

TargetSelectedDatasource

目标端数据源。

mapping_table

List<MappingTable>

源端与目标端的映射关系。

mapping_table_properties

List<MappTableProperties>

源端与目标端的映射关系特性,关系型数据源使用该属性,其他类型配置为空。

mapping_source_textornot

List<Flag>

源端映射是否为文本,默认值为false。

mapping_input

String

映射关系,可为空。

mapping_required

Boolean

是否需要映射关系,默认值为true。

- true (需要)

- false (不需要)

task_tag

String

任务标签。

表2 MappingTable

参数

是否必选

参数类型

描述

source_column

String

源端表字段的名称。

source_column_type

String

源端表字段的类型。

source_column_length

String

源端表字段的长度。

target_column

String

目标端字段的名称。

target_column_type

String

目标端表字段的类型。

target_column_length

String

目标端表字段的长度。

is_add_mapping

String

是否新增Mapping, 默认为false。

表3 TargetSelectedDatasource

参数

是否必选

参数类型

描述

instance_id

String

实例ID。

target_need_create_table

Boolean

目标端是否需要创建表,false。

is_support_clear_tab

Boolean

是否支持清空表,false。

target_table

String

目标端表名。

target_schema

String

目标端数据库模式,gauss100数据库使用。

batch_number

String

批量数据。

target_selected_column_list

List<Column>

目标端选择的列名列表。

support_part_update

Boolean

是否仅更新更改的字段。

如果开启此选项,仅更新值有变化的表字段。如果关闭此选项,则更新所有表字段。

meta_data

List<MetaData>

任务目标端数据源类型元数据定义。

path

String

文件路径,任务目标端填写FTP服务器中要访问的文件夹路径。

write_mode

String

写模式,文件型数据源,为必填项。

file_name_charset

String

文件名称字符编码,文件型数据源,为必填项。

file_content_type

String

文件内容类。

当文件内容类型为文本文件时,文件类型为csv or txt。

当文件内容类型为二进制文件时,文件类型为xls or xlsx。

- binaryFile (二进制文件)

- textFile (文本文件)

file_type

String

文件类型,文件型数据源,为必填项。

当文件内容类型为文本文件时,文件类型为csv或者txt。

当文件内容类型为二进制文件时,文件类型为xls或者xlsx。

file_name_prefix

String

文件名前缀。

null_format

String

空格格式符,定义文件中空格的格式。

remark_date_format

String

文件名后缀。

add_header

Boolean

是否添加文件头。

file_content_charset

String

文件内容字符编码。

field_delimiter

String

文件分隔符,文件默认以英文逗号","分隔。

表4 MappTableProperties

参数

是否必选

参数类型

描述

source_nullable

String

源端表字段是否可为空。

- 0 (不为空)

- 1 (可为空)

source_unique

String

源端表字段是否唯一。

- 0 (唯一)

- 1 (不唯一)

target_nullable

String

目标端表字段是否可为空。

- 0 (不为空)

- 1 (可为空)

target_unique

String

目标端表字段是否唯一。

- 0 (唯一)

- 1 (不唯一)

表5 Flag

参数

是否必选

参数类型

描述

flag

Boolean

是否为文本,默认值为false。

- true (是)

- false (否)

表6 Column

参数

是否必选

参数类型

描述

field_name

String

字段名。

field_type

String

字段类型。

field_length

String

字段长度。

null_able

String

是否为空。

- 0 (不为空)

- 1 (可为空)

unique

String

是否唯一。

- 0 (唯一)

- 1 (不唯一)

表7 SourceSelectedDatasource

参数

是否必选

参数类型

描述

instance_id

String

实例ID。

is_add_sql

Boolean

是否添加SQL语句,关系型数据库使用。

- true (添加)

- false(不添加)

query_sql

String

查询SQL语句,可为空,关系型数据库使用。

source_table

String

源端表名,关系型数据库使用。

source_schema

String

源端数据库模式,gauss100数据库使用。

source_selected_column_list

List<Column>

源端选择的字段名列表,关系型数据库使用。

order_column

String

源端排序的字段名,可为空,关系型数据库使用。

order_type

String

源端排序类型,可为空,关系型数据库使用。

- ASC (升序)

- DESC (降序)

source_date_column

String

源端,增量迁移使用的列名,关系型数据库使用。

data_timestamp

Integer

源端增量迁移初始时间值。

where

List<Where>

源端关系型或者Hive类型数据源的过滤条件语句,可为空。

where_options

List<WhereOptions>

源端筛选条件,可为空,关系型数据库使用,可筛选类型。

- equal

- notEqual

- less

- lessEqual

- more

- moreEqual

- isNull

- notNull

- between

- notBetween

- inList

- notInList

is_text_input

Boolean

是否为文本类型输入。

text_input_value

String

源端文本输入值,可为空。

meta_data

List<MetaData>

源端数据源类型元数据定义。

need_inc_migration

Boolean

源端数据是否进行增量迁移。

time_zone

String

源端数据进行增量迁移所使用的时区,默认GMT+08:00

reset_incr_begin_time

Boolean

源端增量迁移,是否重置增量迁移的开始时间。

compensation_time

String

源端增量迁移初始时间补偿时间。

is_parse

Boolean

是否解析。

如果选择了是,则不会透传数据。

如果选择了否,则会透传数据。

透传,即透明传输(pass-through),指的是将传输的内容由源端传输到目标端,不对数据内容做任何改变。

默认为true, 与source_meta_data值配对使用。

path

String

文件路径,填写FTP服务器中要访问的文件夹路径,例如“/data/FDI”。

file_name

String

文件名,填写FTP服务器中要访问的文件。

file_name_charset

String

文件名称字符编码。

max_file_size

Integer

最大文件大小。

file_content_charset

String

文件内容字符编码。

field_delimiter

String

文件分隔符。

null_format

String

空格格式符,定义文件中空格的格式。

batch_num

Integer

迁移数量。

是否解析(is_parse)如果选择了是,表示解析的数据行数,最大值为1500000;是否解析如果选择了否,表示文件数量,最大值为20000

skip_header

Boolean

跳过文件头。

“是否解析(is_parse)”选择“是”时需要配置。

选择是否跳过数据文件中的文件头信息。文件头为添加在文件中的首行或者开头若干行信息,帮助识别和区分文件内容。

skip_header_rows

Integer

跳过文件头行数。

extend_meta_data

List<MetaData>

源端数据源元数据配置信息的拓展信息。

source_meta_data

List<MetaData>

源端数据源元数据配置信息。

表8 Where

参数

是否必选

参数类型

描述

andor

String

条件筛选,and。

field_name

String

字段名。

field_type

String

字段类型。

op

String

筛选条件。

value

String

值。

minValue

String

最小值。

maxValue

String

最大值。

表9 WhereOptions

参数

是否必选

参数类型

描述

options

List<Options>

筛选条件,可为空,关系型数据库使用,可筛选类型。

- equal

- notEqual

- less

- lessEqual

- more

- moreEqual

- isNull

- notNull

- between

- notBetween

- inList

- notInList

表10 MetaData

参数

是否必选

参数类型

描述

dataSource

List<DataSource>

数据源mapping信息。

表11 Datasource

参数

是否必选

参数类型

描述

index

String

字段索引。

name

String

字段名字。

type

String

字段类型。

format

String

字段格式。

path

String

解析路径。

表12 Options

参数

是否必选

参数类型

描述

id

String

筛选类型ID。

lable

String

筛选类型。

相关文档