# 更新指定任务数据加工规则 - UpdateDataProgress #### 功能介绍 更新指定任务数据加工规则。 #### 调试 您可以在[API Explorer](https://console.huaweicloud.com/apiexplorer/#/openapi/DRS/doc?api=UpdateDataProgress&version=v5)中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。 #### 授权信息 账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限。 - 如果使用角色与策略授权，具体权限要求请参见[权限和授权项](https://support.huaweicloud.com/api-drs/drs_api_0035.html)。 - 如果使用身份策略授权，当前API调用无需身份策略权限。 #### URI PUT /v5/{project_id}/jobs/{job_id}/data-processing-rules 表1路径参数 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | project_id | 是 | String | 租户在某一Region下的Project ID。 获取方法请参见[获取项目ID](https://support.huaweicloud.com/api-drs/drs_api_0106.html)。 | | job_id | 是 | String | 任务ID。 | #### 请求参数 表2请求Header参数 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | Content-Type | 是 | String | 发送的实体的MIME类型。推荐用户默认使用application/json，如果API是对象、镜像上传等接口，媒体类型可按照流类型的不同进行确定。 缺省值：**application/json** | | X-Auth-Token | 是 | String | 从IAM服务获取的用户Token。 用户Token也就是调用获取用户Token接口的响应值，该接口是唯一不需要认证的接口。 请求响应成功后在响应消息头中包含的"X-Subject-Token"的值即为Token值。 | | X-Language | 否 | String | 请求语言类型。 缺省值：**en-us** 枚举值： - **en-us** - **zh-cn** | 表3请求Body参数 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | data_process_info | 是 | Array of objects | 指定任务数据加工规则请求体。 详情请参见[表4]。 | 表4data_process_info字段数据结构说明 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | filter_conditions | 否 | Array of objects | 指定任务数据加工规则请求体。 当进行数据过滤规则校验，必填 当数据过滤规则校验通过，需要更新数据过滤规则时，必填 详情请参见[表5]。 | | is_batch_process | 否 | Boolean | 库级、批量表级处理为true，单表操作为false。 | | add_columns | 否 | Array of objects | 附加列 当选择附加列时必须填写 约束：使用多对一操作时，需要使用数据加工的附加列操作来避免数据冲突。 详情请参见[表6]。 | | ddl_operation | 否 | Map\ | 支持DDL的语法 选择增量迁移或同步的DDL操作。取值及意思如下： "table": "CREATE TABLE, ALTER TABLE,DROP TABLE,RENAME TABLE" 如该值为空，不迁移或同步DDL操作 | | dml_operation | 否 | String | 支持DML的语法，选择DML操作时，取值如下： - i：INSERT - u：UPDATE - d：DELETE 如该值为空，不增量迁移或同步DML操作。 | | db_object_column_info | 否 | Object | 列映射、过滤信息 当进行列映射、过滤信息时必须填写。 详情请参见[表7]。 | | db_or_table_rename_rule | 否 | Object | 库表映射规则。 详情请参见[表9]。 | | db_object | 否 | Object | 数据加工对象信息 当做过映射、进行数据过滤条件校验时，必须填写。 详情请参见[表10]。 | | is_synchronized | 否 | Boolean | 表示该规则是否已同步至目标库。 | | source | 否 | String | 对比的来源。 - job：表示数据同步时的过滤。 - compare：表示数据对比的过滤。 枚举值： - **job** - **compare** | | process_rule_level | 否 | String | 数据加工规则作用级别 - table 表示数据同步时的过滤 - combinations 表示组合集，对多个表的操作 当进行数据过滤规则校验，必填 当需要更新数据加工规则（数据过滤、列加工等）时，必填 枚举值： - **table** - **combinations** | 表5filter_conditions字段数据结构说明 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | value | 否 | String | 过滤条件。当filtering_type是configConditionalFilter时，value默认填写config。当filtering_type是contentConditionalFilter时，value默认填写过滤条件。 说明： - 每张表仅支持添加一个校验规则。 - 数据过滤每次最多支持500张表。 - 过滤表达式不支持使用某种数据库引擎特有的package、函数、变量、常量等写法，须使用通用SQL标准。请直接输入SQL语句中WHERE之后的部分（不包含WHERE和分号，例如：sid \> 3 and sname like "G %"），最多支持输入512个字符。 - 过滤条件填写的SQL语句中，关键字需要用反引号，datatime类型（包含日期和时间）需要用单引号，例如：update \> '2022-07-13 00:00:00' and age \>10。 - 不支持对LOB字段设置过滤条件，如CLOB、BLOB、BYTEA等大字段类型。 - 不支持库名、表名带有换行符的对象设置过滤规则。 - 建议不要对非精确类型字段设置过滤条件，如FLOAT、DECIMAL、DOUBLE等。 - 建议不要对带有特殊字符的字段设置过滤条件。 - 不建议使用非幂等表达式或函数作为数据加工条件，如SYSTIMESTAMP，SYSDATE等，因其每次调用返回的结果可能会有差异，导致达不到预期。 | | filtering_type | 否 | String | 过滤条件类型。 contentConditionalFilter：简单条件过滤。 configConditionalFilter：关联表过滤。 枚举值： - **contentConditionalFilter** - **configConditionalFilter** | 表6add_columns字段数据结构说明 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | column_type | 否 | String | 列类型。 取值范围： - **default_value** - **create_time** - **update_time** - **expression** - **server_database_table** | | column_name | 否 | String | 列名称。 | | column_value | 否 | String | 列填充值。 | | data_type | 否 | String | 填充列的数据类型。 取值范围： - **int** - **long** - **varchar(256)** - **varchar(191)** - **datetime** - **timestamp** | 表7db_object_column_info字段数据结构说明 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | db_name | 否 | String | 数据库库名称。 | | schema_name | 否 | String | 数据库schema名称。 | | table_name | 否 | String | 数据库表名称。 | | column_infos | 否 | Array of objects | 数据库列信息。 详情请参见[表8]。 | | total_count | 否 | Integer | 数据库列信息总数，与分页无关，仅作为返回体参数 | 表8column_infos字段数据结构说明 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | column_name | 否 | String | 列名。 | | column_type | 否 | String | 列类型。 | | primary_key_or_unique_index | 否 | String | 主键或者唯一索引。取值： - P：主键 - U：唯一键 - D：分布键 | | column_mapped_name | 否 | String | 列映射后的名称。 | | is_filtered | 否 | Boolean | 该列是否过滤。 | | is_partition_key | 否 | Boolean | 该列是否partitionKey。 | 表9db_or_table_rename_rule字段数据结构说明 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | prefix_name | 否 | String | 前缀名称。当type为prefixAndSuffix，填写prefix_name，库表名称仅增加前缀，如果同时也填写suffix_name，库表名称增加前后缀。 | | suffix_name | 否 | String | 后缀名称。当type为prefixAndSuffix，填写suffix_name，库表名称仅增加后缀，如果同时也填写prefix_name，库表名称同时增加前后缀。 | | type | 否 | String | 库表映射类型。prefixAndSuffix：前缀、后缀或者前后缀。 枚举值： - **prefixAndSuffix** - **manyToOne** | 表10db_object字段数据结构说明 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | object_scope | 是 | String | 数据库对象迁移或同步范围。取值： - all：全部迁移。 - database：库级迁移或同步。 - table：表级迁移或同步。 枚举值： - **all** - **database** - **table** | | target_root_db | 否 | Object | 数据库对象迁移或同步目标库，两层到三层数据库同步需要填写。 详情请参见[表11]。 | | object_info | 否 | Map\ | 数据库对象迁移或同步信息，object_scope为all时不填，为库级或表级时必填。 详情请参见[表12]。 | 表11target_root_db字段数据结构说明 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | db_name | 否 | String | 库名。 | | db_encoding | 否 | String | 默认编码格式是utf8。 | 表12object_info字段数据结构说明 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | sync_type | 否 | String | 该数据库在实时同步场景下的类型。取值： config：仅当该库作为数据过滤高级设置的关联库时，需要填写，此时该库以及该库下的schemas、tables"不会"被同步到目标库，name、all属性不生效，schemas、tables需要填写被关联的相关对象。 说明： 如果需要同步该库级对象，则在下级对象中填写sync_type值为config。 枚举值： - **config** | | name | 否 | String | 该数据库在目标库的名称（库名映射）。 | | all | 否 | Boolean | 是否整库迁移或同步。 说明： - 当该库下的模式、表、列需要做数据过滤、列过滤、列映射时，填false，否则填true。 - 当该库下的表需要做附加列时，需要填true，并且在表级对象的columns里填写附加列信息。 - 当该库下的表所包含的列作为数据过滤高级设置的关联列时，需要填true，并且在columns里填写关联列信息，在config_conditions填写数据过滤高级设置的配置条件。 | | schemas | 否 | Map\ | 需要迁移或同步的模式，当整库迁移或同步为false时需要填写。 详情请参见[表13]。 | | tables | 否 | Map\ | 需要迁移或同步的表，当整库迁移或同步为false时需要填写。 详情请参见[表14]。 | | total_table_num | 否 | Integer | 库下的表的数量，表的数量超过阈值就不显示。 | | is_synchronized | 否 | Boolean | 是否已同步。 | 表13schemas字段数据结构说明 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | sync_type | 否 | String | 该模式在实时同步场景下的类型。取值： config：仅当该模式作为数据过滤高级设置的关联模式时，需要填写，此时该模式以及该模式下的tables"不会"被同步到目标库，name、all属性不生效，tables需要填写被关联的相关对象。 说明： 如果需要同步该模式对象，则在下级对象中填写sync_type值为config。 | | name | 否 | String | 该模式在目标库的名称（模式名映射）。 | | all | 否 | Boolean | 是否整模式迁移或同步。 说明： - 当该模式下的表、列需要做数据过滤、列过滤、列映射时，填false，否则填true。 - 当该模式下的表需要做附加列时，需要填true，并且在表级对象的columns里填写附加列信息。 - 当该模式下的表所包含的列作为数据过滤高级设置的关联列时，需要填true，并且在columns里填写关联列信息、config_conditions填写数据过滤高级设置的配置条件。 | | tables | 否 | Map\ | 需要迁移或同步的表，当整模式迁移或同步为false时需要填写。 | 表14tables字段数据结构说明 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | sync_type | 否 | String | 该表在实时同步场景下的类型。取值： config：仅当该表作为数据过滤高级设置的关联表时，需要填写，此时该表以及该表下的columns"不会"被同步到目标库，name、all、filtered、filter_conditions属性不生效，columns需要填写被关联的相关对象，config_conditions需要填写数据过滤高级设置的配置条件。 说明： 如果需要同步该模式对象，则在下级对象中填写sync_type值为config。 | | type | 否 | String | 对象类型。取值： - table：表。 - view：视图。 - procedure：存储过程。 枚举值： - **table** - **view** - **procedure** | | name | 否 | String | 该表在目标库的名称（表名映射）。 | | all | 否 | Boolean | 是否整表迁移或同步。 说明： - 当该表不需要做列过滤、列映射时，填true；如果需要做列过滤、列映射则填false。 - 当该表需要做附加列时,需要填true，并且在columns里填写附加列信息。 - 当该表所包含的列作为数据过滤高级设置的关联列时，需要填true，并且在columns里填写关联列信息、config_conditions填写数据过滤高级设置的配置条件。 | | db_alias_name | 否 | String | 一对多情况下，表级上对库名的映射。 | | schema_alias_name | 否 | String | 一对多情况下，表级上对schema名的映射。 | | filtered | 否 | Boolean | 该表是否进行数据过滤。 | | filter_conditions | 否 | Array of strings | 该表数据的过滤条件，生成加工规则值为SQL条件语句，长度限制512。 最小长度：**0** 最大长度：**512** | | config_conditions | 否 | Array of strings | 该表数据过滤高级设置的配置条件，当该表作为联表查询时填写，生成加工规则值为SQL条件语句，长度限制512。 最小长度：**0** 最大长度：**512** | | is_synchronized | 否 | Boolean | 是否已经进行同步。 | | columns | 否 | Map\ | 需要同步/映射/过滤/新增的列，当需要列过滤、列映射、附加列功能时填写，仅在实时同步任务中生效，当整表同步为false时需要填写。 详情请参见[表15]。 | 表15columns字段数据结构说明 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | sync_type | 否 | String | 该列在实时同步场景下的类型。取值： config：当该列作为数据过滤高级设置的关联列时，需要填写，同时如果该列是主键或优化查询所需的索引，则需要填写primary_key_for_data_filtering或index_for_data_filtering。 说明： 是否同步该列到目标库由"filtered"属性控制，与库级、模式级、表级控制方式不同。 | | primary_key_for_data_filtering | 否 | String | 该列是否在数据过滤高级设置场景下为主键，如果是主键则填该列列名，否则不填。 | | index_for_data_filtering | 否 | String | 优化查询所需的索引，将会为缓存数据增加索引，不会影响源表，当该列作为数据过滤高级设置的关联索引时，需要填写，否则不填。 | | name | 否 | String | 该列在目标库的名称（列名映射），当该列为"附加列"时须与数据库表级对象中列名保持一致。 | | type | 否 | String | 该列字段的数据类型。 列过滤：填写源列字段的数据类型。 附加列：新填充的列指定字段的数据类型，根据不同操作类型来决定取值范围与约束，具体对应如下： - 当以默认值的方式附加列，新列的取值支持：int，long，varchar(256)，datetime，timestamp。 - 当以create_time为附加列的列名，新列的取值支持：long，datetime，timestamp。 - 当以update_time为附加列的列名，新列的取值支持：long，datetime，timestamp。 - 当以表达式为附加列，新列的取值支持：varchar(256)，且列值仅为：concat(__current_database, '@', __current_table) - 当以serverName@database@table为附加列的列名，新列的取值支持：varchar(256)。 | | primary_key_for_column_filtering | 否 | String | 该列是否在列映射场景下为主键，如果是主键则填PRI，否则填空。 | | filtered | 否 | Boolean | 该列是否进列过滤，不能与附加列additional同时使用。取值： - true：表示同步该列。 - false：表示过滤该列不同步。 | | additional | 否 | Boolean | 该列是否为附加列，当该列为附加列时：name必须与表级对象中列名一致，并且不能与列过滤filtered同时使用。 | | operation_type | 否 | String | 操作类型，以特定的操作类型填充新加的列。不同操作类型对应的取值如下： - 当以默认值方式新加列，新加列的取值支持：ADDITIONALCOLUMN,default_value - 当以create_time为新加列名，新加列的取值支持：ADDITIONALCOLUMN,create_time - 当以update_time为新加列名，新加列的取值支持：ADDITIONALCOLUMN,update_time - 当以表达式为新加列，新加列的取值支持：ADDITIONALCOLUMN,expression - 当以serverName@database@table为新加列名，新加列的取值支持：ADDITIONALCOLUMN,server_database_table | | value | 否 | String | 附加列的值。对应约束如下： - 当操作类型仅"以默认值方式"，且列名为"serverName@database@table"时，才支持输入对应字段类型的值。 - 当操作类型为"表达式"时，该字段为固定值"concat(__current_database, '@', __current_table)"，不需要填写。 | #### 响应参数 **状态码：202** 表16响应Body参数 | 参数 | 参数类型 | 描述 | |:---|:---|:---| | id | String | 查询结果ID。 | | job_id | String | 任务ID。 | | status | String | 查询状态。 枚举值： - **pending** - **failed** - **success** | **状态码：400** 表17响应Body参数 | 参数 | 参数类型 | 描述 | |:---|:---|:---| | error_code | String | 错误码。 最小长度：**12** 最大长度：**12** | | error_msg | String | 错误描述。 最小长度：**1** 最大长度：**512** | #### 请求示例 更新数据库表的映射信息、列信息、数据过滤信息、附加列信息、DDL以及DML信息： ``` PUT https://{endPoint}/v5/054ba152d480d55b2f5dc0069e7ddef0/jobs/c7debc9c-8e09-4a5d-8dd6-cc44f78jb20r/data-processing-rules { "data_process_info" : [ { "filter_conditions" : [ { "filtering_type" : "contentConditionalFilter", "value" : "id>1" } ], "is_batch_process" : false, "add_columns" : [ { "column_type" : "ADDITIONALCOLUMN,create_time", "column_name" : "id", "column_value" : "__create_timestamp", "data_type" : "long" } ], "ddl_operation" : { "table" : "ct,at" }, "dml_operation" : "i,u", "db_object_column_info" : { "db_name" : "testDb", "schema_name" : "testSchema", "table_name" : "testTable", "column_infos" : [ { "column_name" : "ID", "column_type" : "NUMBER", "primary_key_or_unique_index" : "P", "column_mapped_name" : null, "is_filtered" : false, "is_partition_key" : true }, { "column_name" : "C1", "column_type" : "VARCHAR2", "primary_key_or_unique_index" : null, "column_mapped_name" : "t1", "is_filtered" : false, "is_partition_key" : false }, { "column_name" : "C2", "column_type" : "VARCHAR2", "primary_key_or_unique_index" : null, "column_mapped_name" : null, "is_filtered" : true, "is_partition_key" : false }, { "column_name" : "C1", "column_type" : "VARCHAR2", "primary_key_or_unique_index" : null, "column_mapped_name" : null, "is_filtered" : false, "is_partition_key" : false } ] }, "db_or_table_rename_rule" : { "type" : "prefixAndSuffix", "prefix_name" : "test" }, "db_object" : { "object_info" : { "dyh4" : { "name" : "dyh4", "all" : false, "tables" : { "test1_table1" : { "name" : "test1_table1", "type" : "table", "all" : true }, "test1_table10" : { "name" : "test1_table10", "type" : "table", "all" : true }, "test1_table11" : { "name" : "test1_table11", "type" : "table", "all" : true } } } }, "object_scope" : "table" } } ] } ``` #### 响应示例 **状态码：202** Accept ``` { "id" : "0eacda0b-9422-4535-8b62-537d1833638b", "job_id": "177738d1-4eee-4fcb-a4e1-09aea79jb20i", "status" : "pending" } ``` **状态码：400** Bad Request ``` { "error_code" : "DRS.10000010", "error_msg" : "Job does not exist, please check job ID." } ``` #### 状态码 | 状态码 | 描述 | |:---|:---| | 202 | Accept | | 400 | Bad Request | 其他状态请参见[状态码](https://support.huaweicloud.com/api-drs/drs_api_0108.html)。 #### 错误码 请参见[错误码](https://support.huaweicloud.com/api-drs/drs_05_0004.html)。