数据过滤

算子简介

• 名称：数据过滤
• 功能说明：根据设置的条件过滤数据，满足条件的数据则输出，不满足条件的数据将被丢弃。
• 约束：下游不允许对接数据源及产品过滤算子。

算子配置

基础配置项

算子名称：

• 配置项英文名：name

• 说明：算子名称，对算子进行个性化的命名，以辅助增加可读性。支持中文、英文、数字、中划线、下划线，长度小于等于64个字符。
• 类型：STRING
• 必选：否
• 约束：需要符合正则表达式： ^[\u4E00-\u9FA5A-Za-z0-9_-]{1,64}$

条件关系：

• 配置项英文名：conditionRelationship
• 说明：条件关系，用于指定conditions下的各个条件之间的关系，可以是 与 、 或。
• 类型：STRING
• 必选：否，默认为 AND
• 约束：仅可填写 AND 或 OR

过滤条件：

• 配置项英文名：conditions
• 说明：过滤条件，可以配置多个，多个过滤条件之间的关系由 conditionRelationship指定。
• 必选：是
• 子配置项：conditions包括如下子配置项：属性、计算符号、数值。

属性：

• 配置项英文名：property
• 说明：属性， 以JSON Path格式来指定属性。
• 类型：STRING
• 必选：是
• 约束：需要符合正则表达式： ^.{1,1000}$

计算符号：

• 配置项英文名：symbol
• 说明：计算符号， 如大于、小于、等于等，目前支持：MORE_THAN、MORE_THAN_EQUAL、LESS_THAN、LESS_THAN_EQUAL、EQUAL、NOT_EQUAL
• 类型：STRING
• 必选：是
• 约束：必须是MORE_THAN、MORE_THAN_EQUAL、LESS_THAN、LESS_THAN_EQUAL、EQUAL、NOT_EQUAL中的一个。

数值：

• 配置项英文名：value
• 说明：数值， 即条件的右值，如条件：大于100中的100即为value的值。
• 类型：STRING
• 必选：是
• 约束：需要符合正则表达式： ^.{0,50}$

高级配置项

并行数：

• 配置项英文名：parallelism

• 说明：并行数，指定算子执行时的并行任务个数。对于性能要求越高的算子，可以设置较高的并行数，但是占用资源越多。如果此参数不设置，那么作业运行时本算子使用作业的并行数设置。
• 类型：INTEGER
• 必选：否
• 约束：最小值1， 最大值 1024。