更新时间:2022-06-27 GMT+08:00
数据扁平
算子简介
- 名称:数据扁平
- 功能说明:数据扁平算子,把数据流中的嵌套Json字段转换为多个独立字段。
- 约束:下游不允许对接数据源及产品过滤算子。
算子配置
基础配置项
算子名称:
- 配置项英文名:name
- 说明:算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。
- 类型:STRING
- 必选:否
- 约束:需要符合正则表达式: ^[\u4E00-\u9FA5A-Za-z0-9_-]{1,64}$
扁平字段配置:
- 配置项英文名:flatFiedConfig
- 说明:扁平字段配置,配置需要进行扁平处理的字段列表。
- 必选: 是
- 子配置项:扁平字段配置包括如下子配置项:源数据路径、字段名称。
源数据路径:
- 配置项英文名:path
- 说明:源数据路径,以JSON Path格式来指定变量从消息中指定的JSON Path属性获取的取值。
- 类型:STRING
- 必选:是
- 约束:需要符合正则表达式: ^.{1,1000}$
字段名称:
- 配置项英文名:field
- 说明:字段名称,输出字段的字段名称。如果字段名与上游输入字段名相同,则此字段被重新赋值。
- 类型:STRING
- 必选:是
- 约束:需要符合正则表达式: ^[a-z_A-Z]\w{0,64}$
高级配置项
并行数:
- 配置项英文名:parallelism
- 说明:并行数,指定算子执行时的并行任务个数。对于性能要求越高的算子,可以设置较高的并行数,但是占用资源越多。如果此参数不设置,那么作业运行时本算子使用作业的并行数设置。
- 类型:INTEGER
- 必选:否
- 约束:最小值1, 最大值 1024。
父主题: 转换类算子