文档首页/ 数据复制服务 DRS/ API参考/ API v5（公测中）/ 数据加工/ 数据过滤规则校验

更新时间：2024-11-06 GMT+08:00

在线调试

CLI示例

查看PDF

数据过滤规则校验

功能介绍

数据过滤规则校验。

调试

您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。

URI

POST /v5/{project_id}/job/{job_id}/data-filtering/check

表1 路径参数
参数	是否必选	参数类型	描述
project_id	是	String	租户在某一Region下的Project ID。获取方法请参见获取项目ID。
job_id	是	String	任务ID。

请求参数

表2 请求Header参数
参数	是否必选	参数类型	描述
Content-Type	是	String	发送的实体的MIME类型。推荐用户默认使用application/json，如果API是对象、镜像上传等接口，媒体类型可按照流类型的不同进行确定。缺省值：application/json
X-Auth-Token	是	String	从IAM服务获取的用户Token。用户Token也就是调用获取用户Token接口的响应值，该接口是唯一不需要认证的接口。请求响应成功后在响应消息头中包含的“X-Subject-Token”的值即为Token值。
X-Language	否	String	请求语言类型。缺省值：en-us 枚举值： en-us zh-cn

表3 请求Body参数
参数	是否必选	参数类型	描述
data_process_info	否	Array of objects	指定任务数据加工规则请求体。详情请参见表4。

表4 data_process_info字段数据结构说明
参数	是否必选	参数类型	描述
filter_conditions	否	Array of objects	指定任务数据加工规则请求体。详情请参见表5。
is_batch_process	否	Boolean	库级、批量表级处理为true，单表操作为false。
add_columns	否	Array of objects	附加列，当选择附加列时必须填写。说明：使用多对一操作时，需要使用数据加工的附加列操作来避免数据冲突。详情请参见表6。
ddl_operation	否	Map<String,String>	支持DDL的语法，选择增量迁移或同步的DDL操作。取值及含义如下： "table": "CREATE TABLE, ALTER TABLE,DROP TABLE,RENAME TABLE" 如该值为空，不迁移或同步DDL操作。
dml_operation	否	String	支持DML的语法选择DML操作时，取值如下： i：INSERT。 u：UPDATE d：DELETE。如该值为空，不增量迁移或同步DML操作。
db_object_column_info	否	Object	列映射、过滤信息当进行列映射、过滤信息时必须填写。详情请参见表7。
db_or_table_rename_rule	否	Object	库表映射规则。详情请参见表9。
db_object	否	Object	数据加工对象信息当做过映射、进行数据过滤条件校验时，必须填写。详情请参见表10。
is_synchronized	否	Boolean	表示该规则是否已同步至目标库。
source	否	String	对比的来源。 job：表示数据同步时的过滤。 compare：表示数据对比的过滤。枚举值： job compare

表5 filter_conditions字段数据结构说明
参数	是否必选	参数类型	描述
value	否	String	过滤条件。当filtering_type是configConditionalFilter时，value默认填写config。当filtering_type是contentConditionalFilter时，value默认填写过滤条件。说明：每张表仅支持添加一个校验规则。数据过滤每次最多支持500张表。过滤表达式不支持使用某种数据库引擎特有的package、函数、变量、常量等写法，须使用通用SQL标准。请直接输入SQL语句中WHERE之后的部分（不包含WHERE和分号，例如：sid > 3 and sname like "G %"），最多支持输入512个字符。过滤条件填写的SQL语句中，关键字需要用反引号，datatime类型（包含日期和时间）需要用单引号，例如：update > '2022-07-13 00:00:00' and age >10。不支持对LOB字段设置过滤条件，如CLOB、BLOB、BYTEA等大字段类型。不支持库名、表名带有换行符的对象设置过滤规则。建议不要对非精确类型字段设置过滤条件，如FLOAT、DECIMAL、DOUBLE等。建议不要对带有特殊字符的字段设置过滤条件。不建议使用非幂等表达式或函数作为数据加工条件，如SYSTIMESTAMP，SYSDATE等，因其每次调用返回的结果可能会有差异，导致达不到预期。
filtering_type	否	String	过滤条件类型 contentConditionalFilter：简单条件过滤。 configConditionalFilter：关联表过滤。枚举值： contentConditionalFilter configConditionalFilter

表6 add_columns字段数据结构说明
参数	是否必选	参数类型	描述
column_type	否	String	列类型。
column_name	否	String	列名称。
column_value	否	String	列填充值。
data_type	否	String	填充列的数据类型。

表7 db_object_column_info字段数据结构说明
参数	是否必选	参数类型	描述
db_name	否	String	数据库库名称。
schema_name	否	String	数据库schema名称。
table_name	否	String	数据库表名称。
column_infos	否	Array of objects	数据库列信息。详情请参见表8。
total_count	否	Integer	数据库列信息总数，与分页无关，仅作为返回体参数

表8 column_infos字段数据结构说明
参数	是否必选	参数类型	描述
column_name	否	String	列名。
column_type	否	String	列类型。
primary_key_or_unique_index	否	String	主键或者唯一索引。
column_mapped_name	否	String	列映射后的名称。
is_filtered	否	Boolean	该列是否过滤。
is_partition_key	否	Boolean	该列是否partitionKey。

表9 db_or_table_rename_rule字段数据结构说明
参数	是否必选	参数类型	描述
prefix_name	否	String	前缀名称。当type为prefixAndSuffix，填写prefix_name，库表名称仅增加前缀，如果同时也填写suffix_name，库表名称增加前后缀。
suffix_name	否	String	后缀名称。当type为prefixAndSuffix，填写suffix_name，库表名称仅增加后缀，如果同时也填写prefix_name，库表名称同时增加前后缀。
type	否	String	库表映射类型。prefixAndSuffix：前缀、后缀或者前后缀。枚举值： prefixAndSuffix manyToOne

**表10** db_object字段数据结构说明
参数	是否必选	参数类型	描述
object_scope	是	String	数据库对象迁移或同步范围。取值： all：全部迁移。 database：库级迁移或同步。 table：表级迁移或同步。枚举值： all database table
target_root_db	否	Object	数据库对象迁移或同步目标库，两层到三层数据库同步需要填写。详情请参见表11。
object_info	否	Map<String,DatabaseObject>	数据库对象迁移或同步信息，object_scope为all时不填，为库级或表级时必填。详情请参见表12。

**表11** target_root_db字段数据结构说明
参数	是否必选	参数类型	描述
db_name	否	String	库名。
db_encoding	否	String	默认编码格式是utf8。

**表12** object_info字段数据结构说明
参数	是否必选	参数类型	描述
sync_type	否	String	该数据库在实时同步场景下的类型。取值： config：仅当该库作为数据过滤高级设置的关联库时，需要填写，此时该库以及该库下的schemas、tables“不会”被同步到目标库，name、all属性不生效，schemas、tables需要填写被关联的相关对象。说明：如果需要同步该库级对象，则在下级对象中填写sync_type值为config。枚举值： config
name	否	String	该数据库在目标库的名称（库名映射）。
all	否	Boolean	是否整库迁移或同步。说明：当该库下的模式、表、列需要做数据过滤、列过滤、列映射时，填false，否则填true。当该库下的表需要做附加列时，需要填true，并且在表级对象的columns里填写附加列信息。当该库下的表所包含的列作为数据过滤高级设置的关联列时，需要填true，并且在columns里填写关联列信息，在config_conditions填写数据过滤高级设置的配置条件。
schemas	否	Map<String,SchemaObject>	需要迁移或同步的模式，当整库迁移或同步为false时需要填写。详情请参见表13。
tables	否	Map<String,TableObject>	需要迁移或同步的表，当整库迁移或同步为false时需要填写。详情请参见表14。
total_table_num	否	Integer	库下的表的数量，表的数量超过阈值就不显示。
is_synchronized	否	Boolean	是否已同步。

**表13** schemas字段数据结构说明
参数	是否必选	参数类型	描述
sync_type	否	String	该模式在实时同步场景下的类型。取值： config：仅当该模式作为数据过滤高级设置的关联模式时，需要填写，此时该模式以及该模式下的tables“不会”被同步到目标库，name、all属性不生效，tables需要填写被关联的相关对象。说明：如果需要同步该模式对象，则在下级对象中填写sync_type值为config。
name	否	String	该模式在目标库的名称（模式名映射）。
all	否	Boolean	是否整模式迁移或同步。说明：当该模式下的表、列需要做数据过滤、列过滤、列映射时，填false，否则填true。当该模式下的表需要做附加列时，需要填true，并且在表级对象的columns里填写附加列信息。当该模式下的表所包含的列作为数据过滤高级设置的关联列时，需要填true，并且在columns里填写关联列信息、config_conditions填写数据过滤高级设置的配置条件。
tables	否	Map<String,TableObject>	需要迁移或同步的表，当整模式迁移或同步为false时需要填写。详情请参见表14。

**表14** tables字段数据结构说明
参数	是否必选	参数类型	描述
sync_type	否	String	该表在实时同步场景下的类型。取值： config：仅当该表作为数据过滤高级设置的关联表时，需要填写，此时该表以及该表下的columns“不会”被同步到目标库，name、all、filtered、filter_conditions属性不生效，columns需要填写被关联的相关对象，config_conditions需要填写数据过滤高级设置的配置条件。说明：如果需要同步该模式对象，则在下级对象中填写sync_type值为config。
type	否	String	对象类型。取值： table：表。 view：视图。 procedure：存储过程。枚举值： table view procedure
name	否	String	该表在目标库的名称（表名映射）。
all	否	Boolean	是否整表迁移或同步。说明：当该表不需要做列过滤、列映射时，填true；如果需要做列过滤、列映射则填false。当该表需要做附加列时,需要填true，并且在columns里填写附加列信息。当该表所包含的列作为数据过滤高级设置的关联列时，需要填true，并且在columns里填写关联列信息、config_conditions填写数据过滤高级设置的配置条件。
db_alias_name	否	String	一对多情况下，表级上对库名的映射。
schema_alias_name	否	String	一对多情况下，表级上对schema名的映射。
filtered	否	Boolean	该表是否进行数据过滤。
filter_conditions	否	Array of strings	该表数据的过滤条件，生成加工规则值为SQL条件语句，长度限制512。最小长度：0 最大长度：512
config_conditions	否	Array of strings	该表数据过滤高级设置的配置条件，当该表作为联表查询时填写，生成加工规则值为SQL条件语句，长度限制512。最小长度：0 最大长度：512
is_synchronized	否	Boolean	是否已经进行同步。
columns	否	Map<String,ColumnObject>	需要同步/映射/过滤/新增的列，当需要列过滤、列映射、附加列功能时填写，仅在实时同步任务中生效，当整表同步为false时需要填写。详情请参见表15。

**表15** columns字段数据结构说明
参数	是否必选	参数类型	描述
sync_type	否	String	该列在实时同步场景下的类型。取值： config：当该列作为数据过滤高级设置的关联列时，需要填写，同时如果该列是主建或优化查询所需的索引，则需要填写primary_key_for_data_filtering或index_for_data_filtering。说明：是否同步该列到目标库由“filtered”属性控制，与库级、模式级、表级控制方式不同。
primary_key_for_data_filtering	否	String	该列是否在数据过滤高级设置场景下为主键，如果是主建则填该列列名，否则不填。
index_for_data_filtering	否	String	优化查询所需的索引，将会为缓存数据增加索引，不会影响源表，当该列作为数据过滤高级设置的关联索引时，需要填写，否则不填。
name	否	String	该列在目标库的名称（列名映射），当该列为“附加列”时须与数据库表级对象中列名保持一致。
type	否	String	该列字段的数据类型。列过滤：填写源列字段的数据类型。附加列：新填充的列指定字段的数据类型，根据不同操作类型来决定取值范围与约束。取值：以默认值方式，支持：int,long,varchar(256),datetime,timestamp。以create_time为列，支持：long,datetime,timestamp。以update_time为列，支持：long,datetime,timestamp。以表达式为列，支持：varchar(256)，且列值仅为：concat(__current_database, '@', __current_table) 以serverName@database@table为列，支持：varchar(256)。
primary_key_for_column_filtering	否	String	该列是否在列映射场景下为主键，如果是主建则填PRI，否则填空。
filtered	否	Boolean	该列是否进列过滤，不能与附加列additional同时使用。取值： true：表示同步该列。 false：表示过滤该列不同步。
additional	否	Boolean	该列是否为附加列，当该列为附加列时：name必须与表级对象中列名一致，并且不能与列过滤filtered同时使用。
operation_type	否	String	操作类型，以特定的操作类型填充新加的列。取值：以默认值方式："operation_type":"ADDITIONALCOLUMN,default_value" 以create_time为列："operation_type":"ADDITIONALCOLUMN,create_time" 以update_time为列："operation_type":"ADDITIONALCOLUMN,update_time" 以表达式为列："operation_type":"ADDITIONALCOLUMN,expression" 以serverName@database@table为列："operation_type":"ADDITIONALCOLUMN,server_database_table"
value	否	String	附加列的值。约束：当操作类型仅“以默认值方式”，“以serverName@database@table为列”时，才支持输入对应字段类型的值。当操作类型为“以表达式为列”时，该字段为固定值"concat(__current_database, '@', __current_table)"，不需要填写。

响应参数

状态码： 202

**表16** 响应Body参数
参数	参数类型	描述
id	String	查询结果ID。
job_id	String	任务ID。
status	String	查询状态。枚举值： pending：处理中 failed：失败 success：成功

状态码： 400

**表17** 响应Body参数
参数	参数类型	描述
error_code	String	错误码。最小长度：12 最大长度：12
error_msg	String	错误描述。最小长度：1 最大长度：512

请求示例

数据过滤规则校验：

POST https://{endpoint}/v5/054ba152d480d55b2f5dc0069e7ddef0/job/c7debc9c-8e09-4a5d-8dd6-cc44f78jb20r/data-filtering/check

{
  "data_process_info" : [ {
    "filter_conditions" : [ {
      "filtering_type" : "contentConditionalFilter",
      "value" : "id>1"
    } ],
    "db_object" : {
      "object_info" : {
        "dyh4" : {
          "name" : "dyh4",
          "all" : false,
          "tables" : {
            "test1_table1" : {
              "name" : "test1_table1",
              "type" : "table",
              "all" : true
            },
            "test1_table10" : {
              "name" : "test1_table10",
              "type" : "table",
              "all" : true
            },
            "test1_table11" : {
              "name" : "test1_table11",
              "type" : "table",
              "all" : true
            }
          }
        }
      },
      "object_scope" : "table"
    }
  } ]
}

响应示例

状态码： 202

{
  "id" : "0eacda0b-9422-4535-8b62-537d1833638b",
  "job_id": "177738d1-4eee-4fcb-a4e1-09aea79jb20i",
  "status" : "pending"
}

状态码： 400

Bad Request

{
  "error_code" : "DRS.10000010",
  "error_msg" : "Job does not exist, please check job ID."
}

状态码

状态码	描述
202	Accept
400	Bad Request

错误码

请参见错误码。

父主题： 数据加工

上一篇：查询数据加工规则

下一篇：获取数据过滤校验结果

意见反馈

文档内容是否对您有帮助？

有帮助没帮助

提供反馈

提交成功！非常感谢您的反馈，我们会继续努力做到更好！您可在我的云声建议查看反馈及问题处理状态。

系统繁忙，请稍后重试

在使用文档中是否遇到以下问题

内容与产品页面不一致

内容不易理解

缺失示例代码

步骤不可操作

搜不到想要的内容

缺少最佳实践

意见反馈（选填）

0/500

请至少选择一项反馈信息并填写问题反馈

字符长度不能超过500

直接提交取消

如您有其它疑问，您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问

数据过滤规则校验

功能介绍

调试

URI

请求参数

响应参数

请求示例

响应示例

状态码

错误码

相关文档

意见反馈

文档内容是否对您有帮助？

7*24

备案

专业服务

退订

建议反馈

售前咨询热线