# RawFormDataRequest 表1**RawFormDataRequest** | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | sourceSelectedDatasource | 否 | [SourceDatasourceConfig] | 源端数据源。 | | targetSelectedDatasource | 否 | [TargetDatasourceConfig] | 目标端数据源。 | | mappingTable | 否 | List\<[MappingTable]\> | 源端与目标端的映射关系。 | | mappingTableProperties | 否 | List\<[MappTableProperties]\> | 源端与目标端的映射关系特性，关系型数据源使用该属性，其他类型配置为空。 | | mappingSourceTextOrNot | 否 | List\<[Flag]\> | 源端映射是否为文本，默认值为false。 | | mappingInput | 否 | List\<[MappingInput]\> | 源端metadata与目标端metadata的映射关系。 | | mappingRequired | 否 | Boolean | 是否需要映射关系，默认值为true。 - true (需要) - false (不需要) | | error_handler | 否 | List\<[ErrorHandler]\> | 异常数据存储，需要存储异常数据时配置。 | | afterImplementation | 否 | List\<[AfterImplementation]\> | 任务完成后执行，根据配置发送消息至Kafka或MRS Kafka。支持提供给第三方平台使用。 | 表2**MappingTable** | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | source_column | 否 | String | 源端表字段的名称。 | | source_column_type | 否 | String | 源端表字段的类型。 | | source_column_length | 否 | String | 源端表字段的长度。 | | target_column | 否 | String | 目标端字段的名称。 | | target_column_type | 否 | String | 目标端表字段的类型。 | | target_column_length | 否 | String | 目标端表字段的长度。 | | is_add_mapping | 否 | String | 是否新增Mapping，默认为false。 | 表3**KeyValuePair** | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | keys | 否 | String | 属性名称。 | | value | 否 | String | 属性值。 | 表4**TargetDatasourceConfig** | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | targetNeedCreateTable | 否 | Boolean | 是否自动建表。 当前仅PostgreSQL支持，其他类型数据源暂未开放，为false。 | | isSupportClearTab | 否 | Boolean | 是否清空表，开启后每次调度任务会先清空目标端表，默认为false。 数据源为ORACLE配置，默认为false。 数据源为DWS配置，可选true or false。 | | targetTable | 否 | String | 目标端表名。 数据源为DWS、ORACLE配置。 | | target_schema | 否 | String | 目标端数据库模式，gauss100数据库使用。 | | batchNumber | 否 | String | 批次号字段。 选择目标端表中一个字段作为批次号字段，该字段将保存一个随机数，用于标识这一批次的数据。 目标端表中类型为string并且字段长度大于14的字段可以作为批次号字段，且该批次号字段不能和Mapping信息中的目标端字段(target_column)重复。 数据源为DWS、ORACLE配置。 | | targetSelectedColumnList | 否 | List\<[Column]\> | 目标端选择的字段名列表，数据源为DWS、ORACLE配置。 | | supportPartUpdate | 否 | Boolean | 仅更新更改的字段，如果开启此选项，仅更新值有变化的表字段。如果关闭此选项，则更新所有表字段。 数据源为DWS、ORACLE配置。 | | meta_data | 否 | List\<[MetaData]\> | 数据源的元数据定义对象，仅当"是否解析（is_parse）"选择"是"时需要配置。 对于FTP数据源类型，元数据必须按照文件中的字段顺序填写。 数据源为API、FTP配置。 | | path | 否 | String | 文件路径，文件型数据源，为必填项。 | | write_mode | 否 | String | 写模式，文件型数据源，为必填项。 | | file_name_charset | 否 | String | 文件名称字符编码，数据源为FTP配置。 | | file_content_type | 否 | String | 文件内容类型。 当文件内容类型为文本文件时，文件类型为csv or txt，当文件内容类型为二进制文件时，文件类型为xls or xlsx - binaryFile (二进制文件) - textFile (文本文件) 文件型数据源为必填项。 | | file_type | 否 | String | 文件类型。 当文件内容类型为文本文件时，文件类型为csv或者txt， 当文件内容类型为二进制文件时，文件类型为xls或者xlsx 文件型数据源为必填项。 | | file_name_prefix | 否 | String | 文件名前缀，文件型数据源为必填项。 | | null_format | 否 | String | 空格格式符，定义文件中空格的格式。 文件型数据源为必填项。 | | remark_date_format | 否 | String | 文件名后缀，文件型数据源为必填项。 | | add_header | 否 | Boolean | 是否添加文件头，文件型数据源为必填项。 | | file_content_charset | 否 | String | 文件内容字符编码，文件型数据源为必填项。 | | field_delimiter | 否 | String | 文件分隔符，文件默认以英文逗号","分隔。 文件型数据源为必填项。 | 表5**MappTableProperties** | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | source_nullable | 否 | String | 源端表字段是否可为空。 - 0 (不为空) - 1 (可为空) | | source_unique | 否 | String | 源端表字段是否唯一。 - 0 (唯一) - 1 (不唯一) | | target_nullable | 否 | String | 目标端表字段是否可为空。 - 0 (不为空) - 1 (可为空) | | target_unique | 否 | String | 目标端表字段是否唯一。 - 0 (唯一) - 1 (不唯一) | 表6**SourceDatasourceConfig** | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | need_inc_migration | 否 | Boolean | 是否增量采集。 数据源为API配置。 - true 采用增量采集 - false 不采用增量采集(每次任务执行都是全量采集) | | incr_migration_type | 否 | String | 增量采集的周期设置类型。 数据源为API配置。 - systemDefault 系统默认 - selfDefine 自定义 | | advanceStartTime | 否 | Integer | 开始时间前置值（天），数据源为API时配置。 当incr_migration_type为systemDefault时必须填写。 若源端生成的数据为实时变化的，如告警数据等，可通过前置时间进行采集处理。数据采集的开始时间 = 数据源系统时间 - 时间前置值 | | period_granularity | 否 | String | 周期粒度单位，数据源为API时配置。 当incr_migration_type为selfDefine时需填写。 - hour 小时 - day 天 - week 周 - month 月 | | period_assignment | 否 | String | 周期指定，数据源为API时配置。 当incr_migration_type为selfDefine时需填写。 - currentPeriod 当前周期 - lastPeriod 上一个周期 | | period_right_boarder | 否 | String | 周期右边界，数据源为API时配置。 当incr_migration_type为selfDefine时需填写。 - off 闭区间 - on 开区间 | | timeZone | 否 | String | 增量采集时所使用的时区，正常情况填写GMT+08:00，数据源为API配置。 当need_inc_migration为true时必须填写。 | | dataTimestamp | 否 | Integer | 增量采集时的初始时间戳，数据源为API时配置。 当need_inc_migration为true时必须填写。 | | compensation_time | 否 | Integer | 增量采集时的时间补偿值，数据源为API时配置。 不需要补偿时填0，当need_inc_migration为true时必须填写。 源端生成的数据存在滞后时， 可利用补偿时间进行调整，查询时间范围的结束时间为当前系统时间减去补偿时间。 | | date_form | 否 | String | 增量采集时采用的时间格式，数据源为API时配置。 当need_inc_migration为true时必须填写。 | | isNeedPageSrcApi | 否 | Boolean | 是否分页查询。 数据源为API配置。 - true 分页查询 - false 不分页查询 | | pageKeySrcApi | 否 | String | 分页查询时对应的页码字段名称。 当isNeedPageSrcApi为true时必须填写。 数据源为API配置。 | | pageSizeKeySrcApi | 否 | String | 分页查询时对应的分页大小字段名称。 当isNeedPageSrcApi为true时必须填写。 数据源为API配置。 | | current_page_num | 否 | Integer | 分页查询页码值，正常情况都填1,当isNeedPageSrcApi为true时必须填写。 数据源为API配置。 | | page_size | 否 | Integer | 分页查询每页大小值，当isNeedPageSrcApi为true时必须填写 数据源为API配置。 | | pageNumLimit | 否 | Integer | 分页查询时单次任务最大页数限制，不填或填写0时没有限制，否则超过该限制则停止继续查询。 数据源为API配置。 | | pagingEndType | 否 | Boolean | 结束分页查询的方式。 数据源为API配置。 - paging-list 分页结果为空 （当分页查询结果为空时，停止查询，默认采用此种方式） - paging-total 记录总数（当查询的数据量达到了记录总数时停止分页查询，使用此种方式则必须通过pagingEndFieldPath来指定记录总数的key值，此key值由API服务端返回） | | pagingEndFieldPath | 否 | String | API服务返回的表示总数据量的key值。 pagingEndType为paging-total时必须填写。 数据源为API配置。 | | beginDateColSrcApi | 否 | String | 使用增量采集时开始时间的查询key值。 need_inc_migration为true时必须填写。 数据源为API配置。 | | endDateColSrcApi | 否 | String | 使用增量采集时结束时间的查询key值。 need_inc_migration为true时必须填写。 数据源为API配置。 | | sourceParams | 否 | List\<[KeyValuePair]\> | 请求参数的查询参数params。 数据源为API配置。 | | sourceHeaders | 否 | List\<[KeyValuePair]\> | 请求的headers。 数据源为API配置。 | | sourceBodyType | 否 | String | 请求的body类型。 数据源为API配置。 - none - formData - x-www-form-urlencoded - raw-json 默认使用 - raw-sorted-json - raw-text | | bodyRaw | 否 | String | 请求的body体。 sourceBodyType为raw-json时填写。 数据源为API配置。 | | sourceBodyFormData | 否 | List\<[KeyValuePair]\> | 请求的form型body体。 sourceBodyType为formData时必填。 数据源为API配置。 | | sourceResponseType | 否 | String | 请求响应数据类型。 数据源为API配置。 - json - xml | | isParse | 否 | Boolean | 是否对请求结果解析。 数据源为API配置。 - true - false | | rootPath | 否 | String | 解析响应结果的根路径。 数据源为API配置。 | | sourceMetaData | 否 | List\<[MetaData]\> | 任务源端数据源类型元数据定义。 数据源为API配置。 | | path | 否 | String | 文件路径。 FTP服务器中要访问的文件夹路径，例如"/data/FDI"。 | | file_name | 否 | String | 文件名。 FTP服务器中要访问的文件。 | | file_name_charset | 否 | String | 文件名称字符编码。 数据源为FTP配置。 | | max_file_size | 否 | Integer | 最大文件大小，单位MB。 数据源为FTP配置。 | | file_content_charset | 否 | String | 文件内容字符编码。 数据源为FTP配置。 | | field_delimiter | 否 | String | 文件分隔符。 数据源为FTP配置。 | | null_format | 否 | String | 空格格式符，定义文件中空格的格式。 数据源为FTP配置。 | | batch_num | 否 | Integer | 迁移数量。 是否解析(is_parse)如果选择了是，表示解析的数据行数，最大值为1500000。 是否解析(is_parse)如果选择了否，表示文件数量，最大值为20000 数据源为FTP配置。 | | skip_header | 否 | Boolean | 跳过文件头。 当"是否解析"选择"是"时需要配置。 选择是否跳过数据文件中的文件头信息。文件头为添加在文件中的首行或者开头若干行信息，帮助识别和区分文件内容。 数据源为FTP配置。 | | skip_header_rows | 否 | Integer | 跳过文件头行数。 数据源为FTP配置。 | | extend_meta_data | 否 | List\<[MetaData]\> | 任务源端数据源类型元数据定义。 数据源为FTP配置。 | | instanceId | 否 | String | 实例ID。 | | isAddSql | 否 | Boolean | 是否添加SQL语句，关系型数据库使用。 - true (添加) - false（不添加） | | querySql | 否 | String | 查询SQL语句，可为空，关系型数据库使用。 | | sourceTable | 否 | String | 源端表名，关系型数据库使用。 | | sourceSchema | 否 | String | 源端数据库模式，gauss100数据库使用。 | | sourceSelectedColumnList | 否 | List\<[Column]\> | 源端选择的字段名列表，关系型数据库使用。 | | orderColumn | 否 | String | 源端排序的字段名，可为空，关系型数据库使用。 | | orderType | 否 | String | 源端排序类型，可为空，关系型数据库使用。 - ASC (升序) - DESC (降序) | | sourceDateColumn | 否 | String | 源端，增量迁移使用的列名，关系型数据库使用。 | | need_inc_migration | 否 | Boolean | 是否增量采集。 关系型数据库使用。 - true 采用增量采集 - false 不采用增量采集(每次任务执行都是全量采集) | | timeZone | 否 | String | 增量采集时所使用的时区， 正常情况填写GMT+08:00，关系型数据库使用。 当need_inc_migration为true时必须填写。 | | dataTimestamp | 否 | Integer | 增量采集时的初始时间戳，关系型数据库使用。 当need_inc_migration为true时必须填写。 | | compensation_time | 否 | Integer | 增量采集时的时间补偿值，关系型数据库使用。 不需要补偿时填0，当need_inc_migration为true时必须填写。 源端生成的数据存在滞后时， 可利用补偿时间进行调整，查询时间范围的结束时间为当前系统时间减去补偿时间。 | | where | 否 | List\<[Where](https://support.huaweicloud.com/api-roma/roma_06_0032.html#roma_06_0032__table11888163312513)\> | 源端关系型或者Hive类型数据源的过滤条件语句，可为空。 | | whereOptions | 否 | List\<[WhereOptions](https://support.huaweicloud.com/api-roma/roma_06_0032.html#roma_06_0032__table76504303530)\> | 源端筛选条件，可为空，关系型数据库使用，可筛选类型。 - equal - notEqual - less - lessEqual - more - moreEqual - isNull - notNull - between - notBetween - inList - notInList | 表7**Flag** | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | flag | 否 | Boolean | 是否为文本，默认值为false。 - true (是) - false (否) | 表8**MetaData** | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | dataSource | 否 | List\<[DataSource]\> | 数据源mapping信息。 | 表9**Datasource** | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | index | 否 | String | 字段索引。 | | name | 否 | String | 字段名字。 | | type | 否 | String | 字段类型。 | | format | 否 | String | 字段格式。 | | path | 否 | String | 解析路径。 | 表10**Column** | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | field_name | 否 | String | 字段名。 | | field_type | 否 | String | 字段类型。 | | field_length | 否 | String | 字段长度。 | | null_able | 否 | String | 是否为空。 - 0 (不为空) - 1 (可为空) | | unique | 否 | String | 是否唯一。 - 0 (唯一) - 1 (不唯一) | 表11**MappingInput** | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | dataSource | 否 | List\<[DataSource]\> | 数据源mapping信息。 | | mode | 否 | String | 内容模式，例如keyvalue。 | 表12**DataSource** | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | sourceKey | 否 | String | 源端值。 | | targetKey | 否 | String | 目标端值。 | 表13**ErrorHandler** | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | path | 否 | String | 保存路径。 | | datasource_id | 否 | String | 数据源ID。 | | mode | 否 | String | 数据源类型。 | | app_id | 否 | String | 应用ID。 | 表14**AfterImplementation** | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | projectId | 否 | String | 项目ID。 | | actionType | 否 | String | 操作类型。 | | appId | 否 | String | 应用ID。 | | datasourceId | 否 | String | 数据源ID。 | | topic | 否 | String | Topic名称。 | | messageContent | 否 | String | 自定义消息。 |