更新时间:2024-04-25 GMT+08:00
分享

数据质检

数据质检主要是将库中错误数据检测出来,与治理流程的清洗定义中的过滤规则不同的是,独立质检是将不规范的数据检测出来,并不改变质检表的数据,治理流程中的过滤规则是将不符合规范的数据过滤掉,改变质检表的数据。检测出错误数据后,可以查看错误数据原因、导出错误数据到 excel 中、导出质检报告供部门整改用,数据质检完对错误数据可以发起工单给到具体部门的部门进行错误数据整改。

如果刚开始就要对人口基本信息 t_rk_baseinfo 表进行检测它的数据是否规范,是否有错误数据时,就可以将这张表先质检一下,配置质检方案、质检规则

图1 数据质检1

检查组合是新增记录级的质检规则,比如可以对身份证字段 idcard 配一个身份证的规范检查,将不符合身份证号码标准的数据检查出来。

图2 数据质检2

表级规则是以表为维度来检查的,比如可以配置对照表来检查检测表的数量是否一致,无需比较其中的具体数据

图3 数据质检3

配置好质检方案之后在列表页面去启动任务,执行状态为成功说明该质检任务跑成功了,在质检分析页面可以查看是否有错误数据,具体的数据数据,以及统计质检结果的变化趋势。

图4 数据质检4

单击查看详情可以查看具体的错误数据以及错误信息,单击导出可以将错误数据导出到 excel 中

图5 数据质检5

单击质检分析页面的“导出报告”按钮可以将质检的报告导出来

分享:

    相关文档

    相关产品