文档首页 > > 快速入门> 步骤6:数据质量监控

步骤6:数据质量监控

分享
更新时间:2020/07/03 GMT+08:00

数据质量监控DQC(Data Quality Control)模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。支持数据的清洗和标准化,能够根据数据标准自动生成清洗和标准化的质量规则。支持周期性的监控和清洗。

在DAYU数据质量模块中,可以对业务指标和数据质量进行监控。本章节以业务指标监控为例介绍如何进行监控。业务指标的监控流程如下,以下步骤可以仍然使用开发者角色的用户进行操作:
  1. 新建指标
  2. 新建规则
  3. 新建业务场景
  4. 运行业务场景并查看监控结果

新建指标

  1. 在DAYU控制台左上角,单击模块下拉列表并选择“数据质量”,进入数据质量控制台。
  2. 在左侧导航树上单击指标管理,再单击“新建”

    图1 指标管理

  3. 在弹出的对话框中,配置相关参数,示例如下:

    图2 新建指标

  4. 单击“试跑”测试指标是否可以正常运行。运行通过后,单击“保存”完成指标的创建。

新建规则

  1. 在数据质量控制台的左侧导航树上,单击规则管理,再单击“新建”

    图3 规则管理

  2. 在弹出的对话框中,配置相关参数,示例如下:

    图4 新建规则

    在“定义关系”中可以定义指标和数值间或者指标和指标间的逻辑表达式。单击“添加”可以插入多个指标。

  3. 单击“保存”完成规则的创建。

新建业务场景

  1. 在数据质量控制台的左侧导航树上,单击业务场景管理,再单击“新建”

    图5 业务场景管理

  2. 在新建业务场景页面,请根据页面提示配置参数,示例如下:

    图6 基本配置

    图7所示的“规则组配置”中可以定义规则间的逻辑表达式。单击“添加”可以插入多个规则。

    图7 规则组配置

    图8所示的“订阅配置”中,“通知类型”就是触发条件,“触发告警”勾选时表示该业务场景的运行结果为“告警”或“异常”时发送消息通知。“运行成功”勾选时表示该业务场景的运行结果为“正常”时,发送消息通知。

    图8 订阅配置
    图9 调度配置

  3. 单击“提交”完成业务场景的创建。

运行业务场景并查看监控结果

  1. 在数据质量控制台的左侧导航树上,单击业务场景管理
  2. 在业务场景列表中,找到所需要的业务场景,然后单击其所在行的“运行”,系统将自动跳转到运“维管理”页面。
  3. “运维管理”页面的业务场景实例列表中,可以查看运行结果。

    展开实例,运行结果如下图所示,如果该业务场景的规则结果为True,则运行结果为“正常”,规则结果为False则运行结果为“告警”,如果运行失败则运行结果为“异常”。

    图10 运行结果

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问