RawFormDataRequest_数据集成参数说明_附录_API参考_应用与数据集成平台 ROMA Connect-华为云

表1 **RawFormDataRequest**
参数	是否必选	参数类型	描述
sourceSelectedDatasource	否	SourceDatasourceConfig	源端数据源。
targetSelectedDatasource	否	TargetDatasourceConfig	目标端数据源。
mappingTable	否	List<MappingTable>	源端与目标端的映射关系。
mappingTableProperties	否	List<MappTableProperties>	源端与目标端的映射关系特性，关系型数据源使用该属性，其他类型配置为空。
mappingSourceTextOrNot	否	List<Flag>	源端映射是否为文本，默认值为false。
mappingInput	否	List<MappingInput>	源端metadata与目标端metadata的映射关系。
mappingRequired	否	Boolean	是否需要映射关系，默认值为true。 - true (需要) - false (不需要)
error_handler	否	List<ErrorHandler>	异常数据存储，需要存储异常数据时配置。
afterImplementation	否	List<AfterImplementation>	任务完成后执行，根据配置发送消息至Kafka或MRS Kafka。支持提供给第三方平台使用。

表2 **MappingTable**
参数	是否必选	参数类型	描述
source_column	否	String	源端表字段的名称。
source_column_type	否	String	源端表字段的类型。
source_column_length	否	String	源端表字段的长度。
target_column	否	String	目标端字段的名称。
target_column_type	否	String	目标端表字段的类型。
target_column_length	否	String	目标端表字段的长度。
is_add_mapping	否	String	是否新增Mapping，默认为false。

表3 **KeyValuePair**
参数	是否必选	参数类型	描述
keys	否	String	属性名称。
value	否	String	属性值。

表4 **TargetDatasourceConfig**
参数	是否必选	参数类型	描述
targetNeedCreateTable	否	Boolean	是否自动建表。当前仅PostgreSQL支持，其他类型数据源暂未开放，为false。
isSupportClearTab	否	Boolean	是否清空表，开启后每次调度任务会先清空目标端表，默认为false。数据源为ORACLE配置，默认为false。数据源为DWS配置，可选true or false。
targetTable	否	String	目标端表名。数据源为DWS、ORACLE配置。
target_schema	否	String	目标端数据库模式，gauss100数据库使用。
batchNumber	否	String	批次号字段。选择目标端表中一个字段作为批次号字段，该字段将保存一个随机数，用于标识这一批次的数据。目标端表中类型为string并且字段长度大于14的字段可以作为批次号字段，且该批次号字段不能和Mapping信息中的目标端字段(target_column)重复。数据源为DWS、ORACLE配置。
targetSelectedColumnList	否	List<Column>	目标端选择的字段名列表，数据源为DWS、ORACLE配置。
supportPartUpdate	否	Boolean	仅更新更改的字段，如果开启此选项，仅更新值有变化的表字段。如果关闭此选项，则更新所有表字段。数据源为DWS、ORACLE配置。
meta_data	否	List<MetaData>	数据源的元数据定义对象，仅当“是否解析（is_parse）”选择“是”时需要配置。对于FTP数据源类型，元数据必须按照文件中的字段顺序填写。数据源为API、FTP配置。
path	否	String	文件路径，文件型数据源，为必填项。
write_mode	否	String	写模式，文件型数据源，为必填项。
file_name_charset	否	String	文件名称字符编码，数据源为FTP配置。
file_content_type	否	String	文件内容类型。当文件内容类型为文本文件时，文件类型为csv or txt，当文件内容类型为二进制文件时，文件类型为xls or xlsx - binaryFile (二进制文件) - textFile (文本文件) 文件型数据源为必填项。
file_type	否	String	文件类型。当文件内容类型为文本文件时，文件类型为csv或者txt，当文件内容类型为二进制文件时，文件类型为xls或者xlsx 文件型数据源为必填项。
file_name_prefix	否	String	文件名前缀，文件型数据源为必填项。
null_format	否	String	空格格式符，定义文件中空格的格式。文件型数据源为必填项。
remark_date_format	否	String	文件名后缀，文件型数据源为必填项。
add_header	否	Boolean	是否添加文件头，文件型数据源为必填项。
file_content_charset	否	String	文件内容字符编码，文件型数据源为必填项。
field_delimiter	否	String	文件分隔符，文件默认以英文逗号","分隔。文件型数据源为必填项。

表5 **MappTableProperties**
参数	是否必选	参数类型	描述
source_nullable	否	String	源端表字段是否可为空。 - 0 (不为空) - 1 (可为空)
source_unique	否	String	源端表字段是否唯一。 - 0 (唯一) - 1 (不唯一)
target_nullable	否	String	目标端表字段是否可为空。 - 0 (不为空) - 1 (可为空)
target_unique	否	String	目标端表字段是否唯一。 - 0 (唯一) - 1 (不唯一)

表6 **SourceDatasourceConfig**
参数	是否必选	参数类型	描述
need_inc_migration	否	Boolean	是否增量采集。数据源为API配置。 - true 采用增量采集 - false 不采用增量采集(每次任务执行都是全量采集)
incr_migration_type	否	String	增量采集的周期设置类型。数据源为API配置。 - systemDefault 系统默认 - selfDefine 自定义
advanceStartTime	否	Integer	开始时间前置值（天），数据源为API时配置。当incr_migration_type为systemDefault时必须填写。若源端生成的数据为实时变化的，如告警数据等，可通过前置时间进行采集处理。数据采集的开始时间 = 数据源系统时间 - 时间前置值
period_granularity	否	String	周期粒度单位，数据源为API时配置。当incr_migration_type为selfDefine时需填写。 - hour 小时 - day 天 - week 周 - month 月
period_assignment	否	String	周期指定，数据源为API时配置。当incr_migration_type为selfDefine时需填写。 - currentPeriod 当前周期 - lastPeriod 上一个周期
period_right_boarder	否	String	周期右边界，数据源为API时配置。当incr_migration_type为selfDefine时需填写。 - off 闭区间 - on 开区间
timeZone	否	String	增量采集时所使用的时区，正常情况填写GMT+08:00，数据源为API配置。当need_inc_migration为true时必须填写。
dataTimestamp	否	Integer	增量采集时的初始时间戳，数据源为API时配置。当need_inc_migration为true时必须填写。
compensation_time	否	Integer	增量采集时的时间补偿值，数据源为API时配置。不需要补偿时填0，当need_inc_migration为true时必须填写。源端生成的数据存在滞后时，可利用补偿时间进行调整，查询时间范围的结束时间为当前系统时间减去补偿时间。
date_form	否	String	增量采集时采用的时间格式，数据源为API时配置。当need_inc_migration为true时必须填写。
isNeedPageSrcApi	否	Boolean	是否分页查询。数据源为API配置。 - true 分页查询 - false 不分页查询
pageKeySrcApi	否	String	分页查询时对应的页码字段名称。当isNeedPageSrcApi为true时必须填写。数据源为API配置。
pageSizeKeySrcApi	否	String	分页查询时对应的分页大小字段名称。当isNeedPageSrcApi为true时必须填写。数据源为API配置。
current_page_num	否	Integer	分页查询页码值，正常情况都填1,当isNeedPageSrcApi为true时必须填写。数据源为API配置。
page_size	否	Integer	分页查询每页大小值，当isNeedPageSrcApi为true时必须填写数据源为API配置。
pageNumLimit	否	Integer	分页查询时单次任务最大页数限制，不填或填写0时没有限制，否则超过该限制则停止继续查询。数据源为API配置。
pagingEndType	否	Boolean	结束分页查询的方式。数据源为API配置。 - paging-list 分页结果为空（当分页查询结果为空时，停止查询，默认采用此种方式） - paging-total 记录总数（当查询的数据量达到了记录总数时停止分页查询，使用此种方式则必须通过pagingEndFieldPath来指定记录总数的key值，此key值由API服务端返回）
pagingEndFieldPath	否	String	API服务返回的表示总数据量的key值。 pagingEndType为paging-total时必须填写。数据源为API配置。
beginDateColSrcApi	否	String	使用增量采集时开始时间的查询key值。 need_inc_migration为true时必须填写。数据源为API配置。
endDateColSrcApi	否	String	使用增量采集时结束时间的查询key值。 need_inc_migration为true时必须填写。数据源为API配置。
sourceParams	否	List<KeyValuePair>	请求参数的查询参数params。数据源为API配置。
sourceHeaders	否	List<KeyValuePair>	请求的headers。数据源为API配置。
sourceBodyType	否	String	请求的body类型。数据源为API配置。 - none - formData - x-www-form-urlencoded - raw-json 默认使用 - raw-sorted-json - raw-text
bodyRaw	否	String	请求的body体。 sourceBodyType为raw-json时填写。数据源为API配置。
sourceBodyFormData	否	List<KeyValuePair>	请求的form型body体。 sourceBodyType为formData时必填。数据源为API配置。
sourceResponseType	否	String	请求响应数据类型。数据源为API配置。 - json - xml
isParse	否	Boolean	是否对请求结果解析。数据源为API配置。 - true - false
rootPath	否	String	解析响应结果的根路径。数据源为API配置。
sourceMetaData	否	List<MetaData>	任务源端数据源类型元数据定义。数据源为API配置。
path	否	String	文件路径。 FTP服务器中要访问的文件夹路径，例如“/data/FDI”。
file_name	否	String	文件名。 FTP服务器中要访问的文件。
file_name_charset	否	String	文件名称字符编码。数据源为FTP配置。
max_file_size	否	Integer	最大文件大小，单位MB。数据源为FTP配置。
file_content_charset	否	String	文件内容字符编码。数据源为FTP配置。
field_delimiter	否	String	文件分隔符。数据源为FTP配置。
null_format	否	String	空格格式符，定义文件中空格的格式。数据源为FTP配置。
batch_num	否	Integer	迁移数量。是否解析(is_parse)如果选择了是，表示解析的数据行数，最大值为1500000。是否解析(is_parse)如果选择了否，表示文件数量，最大值为20000 数据源为FTP配置。
skip_header	否	Boolean	跳过文件头。当“是否解析”选择“是”时需要配置。选择是否跳过数据文件中的文件头信息。文件头为添加在文件中的首行或者开头若干行信息，帮助识别和区分文件内容。数据源为FTP配置。
skip_header_rows	否	Integer	跳过文件头行数。数据源为FTP配置。
extend_meta_data	否	List<MetaData>	任务源端数据源类型元数据定义。数据源为FTP配置。
instanceId	否	String	实例ID。
isAddSql	否	Boolean	是否添加SQL语句，关系型数据库使用。 - true (添加) - false（不添加）
querySql	否	String	查询SQL语句，可为空，关系型数据库使用。
sourceTable	否	String	源端表名，关系型数据库使用。
sourceSchema	否	String	源端数据库模式，gauss100数据库使用。
sourceSelectedColumnList	否	List<Column>	源端选择的字段名列表，关系型数据库使用。
orderColumn	否	String	源端排序的字段名，可为空，关系型数据库使用。
orderType	否	String	源端排序类型，可为空，关系型数据库使用。 - ASC (升序) - DESC (降序)
sourceDateColumn	否	String	源端，增量迁移使用的列名，关系型数据库使用。
need_inc_migration	否	Boolean	是否增量采集。关系型数据库使用。 - true 采用增量采集 - false 不采用增量采集(每次任务执行都是全量采集)
timeZone	否	String	增量采集时所使用的时区，正常情况填写GMT+08:00，关系型数据库使用。当need_inc_migration为true时必须填写。
dataTimestamp	否	Integer	增量采集时的初始时间戳，关系型数据库使用。当need_inc_migration为true时必须填写。
compensation_time	否	Integer	增量采集时的时间补偿值，关系型数据库使用。不需要补偿时填0，当need_inc_migration为true时必须填写。源端生成的数据存在滞后时，可利用补偿时间进行调整，查询时间范围的结束时间为当前系统时间减去补偿时间。
where	否	List<Where>	源端关系型或者Hive类型数据源的过滤条件语句，可为空。
whereOptions	否	List<WhereOptions>	源端筛选条件，可为空，关系型数据库使用，可筛选类型。 - equal - notEqual - less - lessEqual - more - moreEqual - isNull - notNull - between - notBetween - inList - notInList

表7 **Flag**
参数	是否必选	参数类型	描述
flag	否	Boolean	是否为文本，默认值为false。 - true (是) - false (否)

表8 **MetaData**
参数	是否必选	参数类型	描述
dataSource	否	List<DataSource>	数据源mapping信息。

表9 **Datasource**
参数	是否必选	参数类型	描述
index	否	String	字段索引。
name	否	String	字段名字。
type	否	String	字段类型。
format	否	String	字段格式。
path	否	String	解析路径。

**表10** **Column**
参数	是否必选	参数类型	描述
field_name	否	String	字段名。
field_type	否	String	字段类型。
field_length	否	String	字段长度。
null_able	否	String	是否为空。 - 0 (不为空) - 1 (可为空)
unique	否	String	是否唯一。 - 0 (唯一) - 1 (不唯一)

**表11** **MappingInput**
参数	是否必选	参数类型	描述
dataSource	否	List<DataSource>	数据源mapping信息。
mode	否	String	内容模式，例如keyvalue。

**表12** **DataSource**
参数	是否必选	参数类型	描述
sourceKey	否	String	源端值。
targetKey	否	String	目标端值。

**表13** **ErrorHandler**
参数	是否必选	参数类型	描述
path	否	String	保存路径。
datasource_id	否	String	数据源ID。
mode	否	String	数据源类型。
app_id	否	String	应用ID。

**表14** **AfterImplementation**
参数	是否必选	参数类型	描述
projectId	否	String	项目ID。
actionType	否	String	操作类型。
appId	否	String	应用ID。
datasourceId	否	String	数据源ID。
topic	否	String	Topic名称。
messageContent	否	String	自定义消息。

RawFormDataRequest

相关文档

您对此文档页面的整体评价？