更新时间:2022-06-27 GMT+08:00
分享

数据扁平

算子简介

  • 名称:数据扁平
  • 功能说明:数据扁平算子,把数据流中的嵌套Json字段转换为多个独立字段。
  • 约束:下游不允许对接数据源及产品过滤算子。

算子配置

基础配置项

算子名称:

  • 配置项英文名:name
  • 说明:算子名称,对算子进行个性化的命名,以辅助增加可读性。支持中文、英文、数字、中划线、下划线,长度小于等于64个字符。
  • 类型:STRING
  • 必选:否
  • 约束:需要符合正则表达式: ^[\u4E00-\u9FA5A-Za-z0-9_-]{1,64}$

扁平字段配置:

  • 配置项英文名:flatFiedConfig
  • 说明:扁平字段配置,配置需要进行扁平处理的字段列表。
  • 必选: 是
  • 子配置项:扁平字段配置包括如下子配置项:源数据路径、字段名称。

源数据路径:

  • 配置项英文名:path
  • 说明:源数据路径,以JSON Path格式来指定变量从消息中指定的JSON Path属性获取的取值。
  • 类型:STRING
  • 必选:是
  • 约束:需要符合正则表达式: ^.{1,1000}$

字段名称:

  • 配置项英文名:field
  • 说明:字段名称,输出字段的字段名称。如果字段名与上游输入字段名相同,则此字段被重新赋值。
  • 类型:STRING
  • 必选:是
  • 约束:需要符合正则表达式: ^[a-z_A-Z]\w{0,64}$

高级配置项

并行数:

  • 配置项英文名:parallelism
  • 说明:并行数,指定算子执行时的并行任务个数。对于性能要求越高的算子,可以设置较高的并行数,但是占用资源越多。如果此参数不设置,那么作业运行时本算子使用作业的并行数设置。
  • 类型:INTEGER
  • 必选:否
  • 约束:最小值1, 最大值 1024。

相关文档