数据清洗配置

目前提供了产品过滤、增改属性类、删除属性类、过滤消息类、增加消息类、规约消息类几个类型的数据清洗算子。增加清洗步骤的操作方式为，在算子节点上点击右键，可以看到”向前”、”向后”两个菜单，如图所示：

• 部分算子上仅显示”向前”或”向后”菜单，则说明该算子上仅可”向前”添加或”向后”添加算子。

接下来，以产品过滤、数据计算、选择属性、数据过滤、超时插补、数据聚合为例，分别介绍一下不同类型的算子配置。各个算子配置的详细说明请参考”算子使用指南”。

1. 产品过滤

   “产品过滤”仅可添加在“IoT设备接入数据源”算子后，因此，仅在“IoT设备接入数据源”算子上点击右键时，可以看到“产品过滤”算子。

   添加好算子节点后，在算子节点上点击鼠标左键，即可打开右侧的算子配置面板，如图：

   

   系统会根据所选择的产品，自动生成该算子的输出内容：

   

2. 数据计算

   按照表达式进行数值计算，计算的结果可以赋值给源属性，也可以自定义属性名称及路径。

   添加好算子节点后，在算子节点上点击鼠标左键，即可打开右侧的算子配置面板，如图：

   

3. 选择属性

   在输入数据中选择保留的属性，未选择的属性被删除。当数据字段较多时，用户可使用该功能筛选出业务所关系的字段。

   添加好算子节点后，在算子节点上点击鼠标左键，即可打开右侧的算子配置面板，如图：

   

   使用该配置筛选出batteryLevel与batteryVoltage两个字段，因为后续处理流程仅使用这两个字段。

4. 数据过滤

   根据设置的条件过滤数据，满足条件的数据则输出，不满足条件的数据将被丢弃。

   添加好算子节点后，在算子节点上点击鼠标左键，即可打开右侧的算子配置面板，如图：

   

   使用该配置过滤出batteryLevel不等于0且batteryVoltage大于100的数据。

   数据过滤算子不会修改数据输出，用户可展开“输出”项检查输出内容。

5. 超时插补

   提供基于时间的数据插补功能。时间支持延迟等待时长，以及指定固定时间点。插补数据为上一条实际数据，但是事件时间为插补计算出的时间。

   添加好算子节点后，在算子节点上点击鼠标左键，即可打开右侧的算子配置面板，如图：

   

6. 数据聚合

   数据聚合算子,对数据流中的数据根据窗口周期进行汇聚计算。

   添加好算子节点后，在算子节点上点击鼠标左键，即可打开右侧的算子配置面板，如图：