更新时间:2024-08-29 GMT+08:00

步骤7:数据质量监控

数据质量监控DQC(Data Quality Control)模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。

DataArts Studio数据质量模块中,可以对业务指标和数据质量进行监控。

查看质量作业

DataArts Studio数据开发中,作业运行成功后,您可以登录DataArts Studio数据质量控制台查看质量作业运行结果。

  1. DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
  2. DataArts Studio作业开发控制台,选择步骤6:数据开发处理中新建的作业,单击数据质量监控节点,然后在该节点的节点属性中,单击“数据质量规则名称”后的按钮,可以跳转到DataArts Studio数据质量控制台的“质量作业”页面。

    图1 质量作业节点

  3. 在数据质量页面,单击质量作业名称,可以查看质量作业的基础配置。

    图2 质量作业列表

  4. 单击左侧导航栏中的“运维管理”,单击操作列的“结果&日志”按钮,可查看质量作业的运行结果。

    图3 质量作业运行结果

监控业务指标

业务指标监控模块是对业务指标进行质量管理的工具。

为了进行业务指标监控,可以先自定义SQL指标,然后通过指标的逻辑表达式定义规则,最后新建并调度运行业务场景。通过业务场景的运行结果,可以判断业务指标是否满足质量规则。本例通过监控出租车一天的运营收入,对于当天收入低于500进行预警。具体请参考如下步骤:

  1. DataArts Studio控制台首页,选择对应工作空间的“数据质量”模块,进入数据质量页面。
  2. 选择业务指标监控 > 指标管理
  3. 单击“新建”,在弹出的对话框中,配置相关参数,新建指标。

    SQL语句如下:

    SELECT SUM(fare_amount) FROM sdi_taxi_trip_data;
    图4 新建指标

  4. 选择业务指标监控 > 规则管理
  5. 单击“新建”,在弹出的对话框中,配置相关参数,新建规则。

    图5 新建规则

  6. 选择业务指标监控 > 业务场景管理
  7. 单击“新建”,在弹出的对话框中,配置相关参数,新建场景。

    图6 基本配置
    图7 规则组配置

    单击“下一步”,选择调度方式,支持单次调度和周期调度两种方式。

  8. 在业务场景管理列表中,单击操作列的“运行”,再跳转到运维管理模块。
  9. 单击“运行结果”,查看具体的指标监控情况。

    图8 运行结果

    业务场景的运行结果说明如下:

    • 正常:表示实例正常结束,且执行结果符合预期。
    • 告警:表示实例正常结束,但执行结果不符合预期。
    • 异常:表示实例未正常结束。
    • --:表示实例正在运行中,无执行结果。