更新时间:2022-06-27 GMT+08:00
分享

调试概述

  • 为什么实时分析任务没能输出期望的结果?
  • 实时分析任务中哪个算子环节出错了?
  • 算子处理后的数据结果是什么样的?

以上问题是我们在开发阶段经常遇到的问题。为了解决以上问题,我们提供了调试实时分析工具。用户可以上报测试数据对实时分析业务流程进行测试,用户可直观查看测试数据在每个算子输入和输出的内容。

工作原理:

启动测试模式后,输入类算子从数据源读取数据,将数据发送到下游的转化类算子,最终专递到输出类算子。调试工具会在每个算子的输入输出端监听数据流,最终将监听收集到的数据在页面进行展示。我们可以根据算子的输入输出数据定位以上我们所遇到的问题。

界面介绍

输入输出

创建任务

启动测试任务

下载数据模板

修改数据模板

上传数据文本

查看测试结果

结束测试任务

数据模板

表1

算子类别

算子中文名称

算子英文名称

是否支持调试

是否展示输入数据

是否展示输出数据

输入算子

资产数据输入

AssetDataSource

是

否

是

AssetJobSource

是

否

是

数据存储数据源(旧)

DataStoreSource

是

否

是

资产数据输入(旧)

IoTSource

是

否

是

管道数据输入

PipelineSource

是

否

是

转化算子

数据聚合

Aggregate

是

是

是

数据去重

Deduplicate

是

是

是

去噪

Denoise

是

是

是

数据过滤

Filter

是

是

是

数据扁平

Flat

是

是

是

数据计算

Map

是

是

是

数据嵌套

Nest

是

是

是

数据选择

SelectFields

是

是

是

数据状态计算

StateCondition

是

是

是

输出算子

资产输出

AssetDataSink

是

是

否

DIS输出

DISSink

是

是

否

资产输出(老)

IoTSink

是

是

否

  • 不同的输入算子的测试模板内容格式会不一样,建议在模板的基础上添加测试数据。

相关文档