步骤7:数据质量监控
数据质量监控DQC(Data Quality Control)模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。
在DataArts Studio数据质量模块中,可以对业务指标和数据质量进行监控。
查看质量作业
在DataArts Studio数据开发中,作业运行成功后,您可以登录DataArts Studio数据质量控制台查看质量作业运行结果。
- 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
- 在DataArts Studio作业开发控制台,选择步骤6:数据开发处理中新建的作业,单击数据质量监控节点,然后在该节点的节点属性中,单击“数据质量规则名称”后的按钮,可以跳转到DataArts Studio数据质量控制台的“质量作业”页面。
图1 质量作业节点
- 在数据质量页面,单击质量作业名称,可以查看质量作业的基础配置。
图2 质量作业列表
- 单击左侧导航栏中的“运维管理”,单击操作列的“结果&日志”按钮,可查看质量作业的运行结果。
图3 质量作业运行结果
监控业务指标
业务指标监控模块是对业务指标进行质量管理的工具。
为了进行业务指标监控,可以先自定义SQL指标,然后通过指标的逻辑表达式定义规则,最后新建并调度运行业务场景。通过业务场景的运行结果,可以判断业务指标是否满足质量规则。本例通过监控出租车一天的运营收入,对于当天收入低于500进行预警。具体请参考如下步骤:
- 在DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。
- 选择 。
- 单击“新建”,在弹出的对话框中,配置相关参数,新建指标。
SQL语句如下:
SELECT SUM(fare_amount) FROM sdi_taxi_trip_data;
图4 新建指标
- 选择 。
- 单击“新建”,在弹出的对话框中,配置相关参数,新建规则。
图5 新建规则
- 选择 。
- 单击“新建”,在弹出的对话框中,配置相关参数,新建场景。
图6 基本配置
图7 规则组配置
单击“下一步”,选择调度方式,支持单次调度和周期调度两种方式。
- 在业务场景管理列表中,单击操作列的“运行”,再跳转到运维管理模块。
- 单击“运行结果”,查看具体的指标监控情况。
图8 运行结果
业务场景的运行结果说明如下:
- 正常:表示实例正常结束,且执行结果符合预期。
- 告警:表示实例正常结束,但执行结果不符合预期。
- 异常:表示实例未正常结束。
- --:表示实例正在运行中,无执行结果。