更新时间:2022-08-05 GMT+08:00

数据质量监控概述

数据质量监控DQC(Data Quality Control)模块是对数据库里的数据质量进行质量管理的工具。您可从完整性、有效性、及时性、一致性、准确性、唯一性六个维度进行单列、跨列、跨行和跨表的分析。数据质量支持对离线数据的监控,当离线数据发生变化时,数据质量会对数据进行校验,并阻塞生产链路,以避免问题数据污染扩散。同时,数据质量提供了历史校验结果的管理,以便您对数据质量分析和定级。

另外,数据质量监控DQC支持根据数据架构中的数据标准,自动生成标准化的质量规则,并进行周期性的监控。

数据质量监控主界面包括以下功能模块。

功能

说明

总览

默认首页是总览页面,显示了数据表的报警和阻塞情况。

主要包括以下几部分内容:

  • 所选周期内的作业数、实例数、异常表数,以及各种实例运行状态的分布和变化趋势情况。
  • 当天告警分类统计、当天数据表告警统计、最近7天规则告警分类趋势的统计和最近7天规则数量的趋势。

规则模板

质量规则模板是数据质量的核心功能,是配置规则的主要入口。它主要管理规则配置(内置模板和自定义模板)的相关功能。

质量作业

质量作业可将规则模板或自定义规则应用到表中,进行数据质量监控。

对账作业

对账作业可将创建的规则应用到两张表中进行质量监控,并输出对账结果。

运维管理

运维管理用于查看规则运行状态,处理运维问题。

质量报告

系统根据作业的结果,会自动生成质量报告。