调试概述
- 为什么实时分析任务没能输出期望的结果?
- 实时分析任务中哪个算子环节出错了?
- 算子处理后的数据结果是什么样的?
以上问题是我们在开发阶段经常遇到的问题。为了解决以上问题,我们提供了调试实时分析工具。用户可以上报测试数据对实时分析业务流程进行测试,用户可直观查看测试数据在每个算子输入和输出的内容。
工作原理:
启动测试模式后,输入类算子从数据源读取数据,将数据发送到下游的转化类算子,最终专递到输出类算子。调试工具会在每个算子的输入输出端监听数据流,最终将监听收集到的数据在页面进行展示。我们可以根据算子的输入输出数据定位以上我们所遇到的问题。

算子类别 | 算子中文名称 | 算子英文名称 | 是否支持调试 | 是否展示输入数据 | 是否展示输出数据 |
|---|---|---|---|---|---|
输入算子 | 资产数据输入 | AssetDataSource | 是 | 否 | 是 |
AssetJobSource | 是 | 否 | 是 | ||
数据存储数据源(旧) | DataStoreSource | 是 | 否 | 是 | |
资产数据输入(旧) | IoTSource | 是 | 否 | 是 | |
管道数据输入 | PipelineSource | 是 | 否 | 是 | |
转化算子 | 数据聚合 | Aggregate | 是 | 是 | 是 |
数据去重 | Deduplicate | 是 | 是 | 是 | |
去噪 | Denoise | 是 | 是 | 是 | |
数据过滤 | Filter | 是 | 是 | 是 | |
数据扁平 | Flat | 是 | 是 | 是 | |
数据计算 | Map | 是 | 是 | 是 | |
数据嵌套 | Nest | 是 | 是 | 是 | |
数据选择 | SelectFields | 是 | 是 | 是 | |
数据状态计算 | StateCondition | 是 | 是 | 是 | |
输出算子 | 资产输出 | AssetDataSink | 是 | 是 | 否 |
DIS输出 | DISSink | 是 | 是 | 否 | |
资产输出(老) | IoTSink | 是 | 是 | 否 |

- 不同的输入算子的测试模板内容格式会不一样,建议在模板的基础上添加测试数据。

