调试概述
- 为什么实时分析任务没能输出期望的结果?
- 实时分析任务中哪个算子环节出错了?
- 算子处理后的数据结果是什么样的?
以上问题是我们在开发阶段经常遇到的问题。为了解决以上问题,我们提供了调试实时分析工具。用户可以上报测试数据对实时分析业务流程进行测试,用户可直观查看测试数据在每个算子输入和输出的内容。
工作原理:
启动测试模式后,输入类算子从数据源读取数据,将数据发送到下游的转化类算子,最终专递到输出类算子。调试工具会在每个算子的输入输出端监听数据流,最终将监听收集到的数据在页面进行展示。我们可以根据算子的输入输出数据定位以上我们所遇到的问题。
算子类别 |
算子中文名称 |
算子英文名称 |
是否支持调试 |
是否展示输入数据 |
是否展示输出数据 |
---|---|---|---|---|---|
输入算子 |
资产数据输入 |
AssetDataSource |
是 |
否 |
是 |
AssetJobSource |
是 |
否 |
是 |
||
数据存储数据源(旧) |
DataStoreSource |
是 |
否 |
是 |
|
资产数据输入(旧) |
IoTSource |
是 |
否 |
是 |
|
管道数据输入 |
PipelineSource |
是 |
否 |
是 |
|
转化算子 |
数据聚合 |
Aggregate |
是 |
是 |
是 |
数据去重 |
Deduplicate |
是 |
是 |
是 |
|
去噪 |
Denoise |
是 |
是 |
是 |
|
数据过滤 |
Filter |
是 |
是 |
是 |
|
数据扁平 |
Flat |
是 |
是 |
是 |
|
数据计算 |
Map |
是 |
是 |
是 |
|
数据嵌套 |
Nest |
是 |
是 |
是 |
|
数据选择 |
SelectFields |
是 |
是 |
是 |
|
数据状态计算 |
StateCondition |
是 |
是 |
是 |
|
输出算子 |
资产输出 |
AssetDataSink |
是 |
是 |
否 |
DIS输出 |
DISSink |
是 |
是 |
否 |
|
资产输出(老) |
IoTSink |
是 |
是 |
否 |
- 不同的输入算子的测试模板内容格式会不一样,建议在模板的基础上添加测试数据。