质量作业探查
数据质量探查是借助AI技术和算法来实现质检规则的推荐,并可一键自动创建数据质量作业,简化质量规则构建和作业发布的过程。基于AI技术推荐出来的规则包括但不限于布尔类型、枚举类型、纯数字、度量值、邮箱、ip地址、常见证件、标准地址及其他基于参考数据训练出来的校验规则。
设置质量探查
- 在数据目录页面的技术资产搜索结果列表,单击任意数据表,进入数据表详情页面。
- 在“质量探查”页签,设置质量规则并生成质量作业。
- (可选)在质量探查页面左上角设置本次质量探查的“采样行数”,可按需选10、20、50、100。
采样行数表示取样数据的N行。例如,如果采样行数选择10,则表示本次质量探查的采样数据会随机选择10行数据。
- 系统自动采集当前数据目录作业中的字段,生成质量探查表与采样质量图。 图1 质量探查
- 在推荐规则列,选择字段的质量规则,质量规则由AI算法自动识别当前表中的数据特征,推荐匹配的正则规则。 图2 选择质量规则
请至少设置1个字段的质量规则,否则无法生成质量作业。
如果推荐出来的正则中包含中文,对于非UTF-8编码的数据引擎(库)可能不支持。
- 完成设置后,单击“生成质量作业”,跳转至新建质量作业页面,详细操作请参考新建质量作业。
- 生成的质量作业会显示来源为数据目录。 图3 质量作业来源
支持的数据类型
质量探查支持的数据类型如下:
| 数据类型 | 说明 | 添加到推荐模型中 |
|---|---|---|
| 度量类 | 具有衡量属性的数据(主要基于数据特征及字段名) | 否 |
| 整数类 | 不是度量、代码、编码的其他数字类型数据。 | 否 |
| 类别类 | 具有一定可枚举型的文本类型 | 否 |
| 纯数字代码 | 仅包含数字的代码类型 | 否 |
| 纯数字编码 | 仅包含数字的编码类 | 否 |
| 英数代码 | 英文为开头紧跟着数字的代码类型(如:A01) | 否 |
| 英数编码 | 英文为开头紧跟着数字的编码类型(如:WX12345674) | 否 |
| 0/1布尔值 | 识别0,1布尔值 | 是 |
| Y/N布尔值 | 识别Y,N布尔值(大小写不敏感) | 是 |
| YES/NO布尔值 | 识别YES,NO布尔值(大小写不敏感) | 是 |
| T/F布尔值 | 识别T,F布尔值(大小写不敏感) | 否 |
| 是/否布尔值 | 识别是,否布尔值 | 是 |
| TRUE/FALSE布尔值 | 识别TRUE,FALSE布尔值(大小写不敏感) | 是 |
| URL | 识别包含http(s)://XXXX类的URL | 是 |
| uuid32 | 识别36位UUID | 是 |
| uuid36 | 识别32位UUID | 否 |
| 手机号 | 识别手机号(中国) | 是 |
| 邮箱 | 识别邮箱 | 是 |
| ip | 识别ip地址 | 是 |
| MAC地址 | 识别MAC地址 | 是 |
| 统一社会信用代码 | 识别统一社会信用代码 | 否 |
| 网址 | 识别网址(www.XXX) | 否 |
| UNIX时间戳 | 支持10位和13位UNIX时间戳 | 是 |
| s级时间戳 | 支持yyyy-mm-dd hh:MM:ss; yyyy-mm-ddhh:MM:ss;yyyymmddhhMMss;yyyymmdd hhMMss;hh:mm:ss | 是(部分) |
| ms级时间戳 | 支持yyyymmddhhMMssSSS;yyyy-mm-dd hh:MM:ss.S;yyyy-mm-dd hh:MM:ss.SS;yyyy-mm-dd hh:MM:ss.SSS | 是(部分) |
| 日期(年月,年月日,日月年,时分秒) | 支持yyyymmdd;yyyy-mm;yyyy/mm;yyyymm;yyyy-mm-dd;yyyy-mm-d;yyyy-m-dd;yyyy-m-d;yyyy/mm/dd;yyyy/mm/d;yyyy/m/dd;yyyy/m/d;dd/mm/yyyy;d/mm/yyyy;dd/m/yyyy;d/m/yy | 是(部分) |
| 时间周期类型 | 识别时间周期:秒|分钟|小时|日|周|旬|月|季|年 | 是 |
| 身份证号 | 身份证号 | 是 |
| 身份证件类别 | 识别身份证件类型,如居民身份证,支持枚举值。 | 是 |
| 身份证件类别简称 | 识别身份证件简称,如身份证,支持枚举值。 | 是 |
| 生肖 | 识别生肖:鼠|牛|虎|兔|龙|蛇|马|羊|猴|鸡|狗|猪 | 是 |
| 地理位置 | 识别经纬度位置,如 88°47’30" S;83°52’23" W | 是 |
| 洲 | 识别洲。 亚洲|欧洲|非洲|北美洲|南美洲|澳大利亚洲|南极洲 | 是 |
| 全球大区域 | 识别全球大区域。 美洲|亚太地区|欧洲|中东|非洲 | 是 |
| 全球18个区域 | 识别全球18个区域。 北美|南美|中美|拉丁美洲|加勒比地区|中亚|南亚|东北亚|东南亚|澳大利亚|大洋洲|北欧|南欧|东欧|西欧|中东|北非|南非 | 是 |
| 中国居委会/村委会 | 识别中国居委会/村委会 | 是 |
| 中国区/县 | 识别中国区/县 | 是 |
| 中国街道/乡 | 识别中国街道/乡 | 是 |
| 中国省份中文名称 | 识别中国省份,支持枚举值,如浙江省。 | 是 |
| 中国省份简称 | 识别中国省份的简称,支持枚举值。 | 是 |
| 中国省份中文名称(不带单位) | 识别中国省份,如北京。 | 是 |
| 中国城市 | 识别中国城市 | 是 |
| 北京市行政区域 | 识别北京市行政区域 | 是 |
| 上海市行政区域 | 识别上海市行政区域 | 是 |
| 广州市行政区域 | 识别广州市行政区域。 越秀区|海珠区|荔湾区|天河区|白云区|黄埔区|南沙区|番禺区|花都区|增城区|从化区 | 是 |
| 深圳市行政区域 | 识别深圳市行政区域。 福田区|罗湖区|南山区|盐田区|宝安区|龙岗区|龙华区|坪山区|光明区|大鹏新区 | 是 |
| 重庆市行政区域 | 识别重庆市行政区域。 渝中区|大渡口区|江北区|沙坪坝区|九龙坡区|南岸区|北碚区|綦江区|大足区|渝北区|巴南区|黔江区|长寿区|江津区|合川区|永川区|南川区|璧山区|铜梁区|潼南区|荣昌区|开州区|梁平区|武隆区|城口县|丰都县|垫江县|忠县|云阳县|奉节县|巫山县|巫溪县|石柱土家族自治县|秀山土家族苗族自治县|酉阳土家族苗族自治县|彭水苗族土家族自治县|江北经济技术开发区|北部新区 | 是 |
| 杭州市行政区域 | 识别杭州市行政区域。 上城区|拱墅区|西湖区|滨江区|萧山区|余杭区|临平区|钱塘区|富阳区|临安区|桐庐县|淳安县|建德市 | 是 |
| 天津市行政区域 | 识别天津市行政区域。 和平区|河东区|河西区|南开区|河北区|红桥区|东丽区|西青区|津南区|北辰区|武清区|宝坻区|滨海新区|宁河区|静海区|蓟州区 | 是 |
| 中国行业分类 | 识别中国行业分类门类,如:农、林、牧、渔业。 | 是 |
| 中国行业分类(大类) | 识别中国行业分类(大类),如:农业、林业、畜牧业。 | 是 |
| 中国行业分类(中类) | 识别中国行业分类(中类),如:谷物种植、水果种植。 | 是 |
| 专利类型 | 识别专利类型。 发明专利|实用新型专利|外观设计专利 | 是 |
| 专利类型简称 | 识别专利类型简称。 发明发布|实用新型|外观设计 | 是 |
| 中国驾驶证等级分类 | 识别中国驾驶证等级分类,如:A1、C3。 | 是 |
| 是否本地标识 | 识别本地|外地 | 是 |
| 中国地理方位 | 识别中国地理方位,如华北|东北|西北|华东|华南|西南|华西 | 是 |
| 世界银行名称 | 识别世界银行的全称 | 是 |
| 世界公司名称 | 识别世界公司名称 | 是 |
| 企业性质 | 识别企业性质,如国有企业。 | 是 |
| 世界大学名称 | 识别世界大学名称全称 | 是 |
| 中国大学学科分类 | 识别中国大学专业分类:哲学|经济学|法学|教育学|文学|历史学|理学|工学|农学|医学|军事学|管理学|艺术学 | 是 |
| 中国大学专业 | 识别中国大学专业 | 是 |
| 学季 | 识别学季。 春季|秋季 | 是 |
| 季节 | 识别季节。 春|夏|秋|冬 | 是 |
| 世界国家名称 | 识别世界国家的全称 | 是 |
| 世界节日名称 | 识别世界节日的全称 | 是 |
| 世界语言名称 | 识别世界语言的全称 | 是 |
| 世界语言英文缩写-ISO639 | 识别世界语言英文缩写,如aa | 是 |
| 英文人名 | 识别英文人名 | 是 |
| 英文名-姓氏 | 识别英文姓氏 | 是 |
| 英文名-名字 | 识别英文名字 | 是 |
| 中文人名 | 识别中文人名 | 是 |
| 中国姓氏 | 识别中国姓氏 | 是 |
| 中国姓氏拼音 | 识别中国姓氏的拼音 | 是 |
| 学历名称 | 识别学历,支持枚举值,如bachelor of arts | 是 |
| 学历简称 | 识别学历简称,如ba | 是 |
| 中国法定节假日 | 识别元旦|春节|清明节|劳动节|端午节|中秋节|国庆节 | 是 |
| 中国车牌号 | 识别中国车牌号 | 是 |
| 月份(数字格式) | 识别月份,取值范围01-12。 | 是 |
| 月份缩写 | 识别月份的缩写,支持枚举值。 | 是 |
| 月份 | 识别月份,范围一月到十二月 | 是 |
| utc偏移量 | 识别UTC偏移,如UTC-09:00 | 是 |
| 中国运营商 | 识别中国运营商,支持枚举值。 | 是 |
| 中国上市公司所属板块 | 识别上证A股|深证A股|沪深A股|沪深B股|中小企业版|创业板|新三板 | 是 |
| 中国银行SWIFT | 识别银行SWIFT编码 | 是 |
| 中国车牌地区代码 | 识别中国车牌地区代码,如浙A | 是 |
| 中国邮编 | 识别中国邮编 | 是 |
| 中国地区代码 | 识别中国地区代码 | 是 |
| 中国手机号 | 识别中国手机号 | 是 |
| 台湾手机号 | 识别台湾手机号 | 是 |
| 香港手机号 | 识别香港手机号 | 是 |
| 澳门手机号 | 识别澳门手机号 | 是 |
| 性别 | 识别男|女 | 是 |
| 性别 | 识别男性|女性 | 是 |
| 货币单位 | 识别世界货币单位,支持枚举值 | 是 |
| 世界货币中文名称 | 识别世界货币中文全称,如文莱元 | 是 |
| 世界货币英文名称 | 识别世界货币英文全称,如Turkish lira | 是 |
| 世界货币英文缩写 | 识别世界货币英文缩写,如CUP | 是 |
| 世界货币符号 | 识别世界货币符号,如$ | 是 |
| 付款方式 | 识别付款方式:现金|银行卡|支付宝|微信|信用卡 | 是 |
| 支付状态 | 识别支付状态:待支付|已支付|未支付 | 是 |
| 付款方式 | 识别付款方式,中文加英文格式,如支付宝:AliPay | 是 |
| 购买状态 | 识别购买状态:不购买|购买 | 是 |
| 发票抬头类型 | 识别发票抬头类型:企业|非企业性单位|个人 | 是 |
| 发票类型 | 识别发票类型:公司发票|个人发票 | 是 |
| 中国民族中文名称 | 识别中国56个名族,支持枚举值 | 是 |
| 中国银行卡号 | 识别中国银行卡号 | 是 |
| 车辆识别码(VIN) | 识别车辆识别码 | 是 |
| OBD-II故障码 | 识别OBD故障码 | 是 |
| 总线速率 | 识别总线速率,如125kbps | 是 |
| 电池类型 | 识别电池类型,如铅酸电池 | 是 |
| 车排量 | 识别车排量,如1.0L | 是 |
| 车辆类型 | 识别车辆类型,如轿车 | 是 |
| 中小学课程 | 识别中小学课程,如语文 | 是 |
| 中小学教师职称 | 识别中小学教师职称,如初级教师 | 是 |
| 中国小学名称 | 识别中国小学名称 | 是 |
| 学籍变更类型 | 识别学籍变更情况:转学|休学|留级|退学|在读|其他 | 是 |
| PC端操作系统 | 识别PC端操作系统类型,如macos | 是 |
| 移动端操作系统 | 识别移动端操作系统类型,如ios | 是 |
| 手机操作系统 | 识别手机操作系统中文名称,如鸿蒙。 | 是 |
| 文件大小单位 | 识别文件大小单位:B|KB|MB|GB|TB|b|kb|mb|gb|tb|Kb|Gb|Tb|Mb | 是 |
| 出行方式 | 识别出行方式,如机票flight | 是 |
| 颜色 | 识别颜色,如亮灰色 | 是 |
| ABO血型 | 识别血型:A型|AB型|B型|O型,不区分大小写 | 是 |
| Rh血型 | 识别rh血型:Rh阳性|Rh阴性|rh阴性|rh阳性 | 是 |
| 文件格式 | 识别文件格式 | 是 |
| 合格不合格标志 | 识别合格|不合格 | 是 |
| 出入库类别 | 识别出库|入库 | 是 |
| 有无状态 | 识别有|无 | 是 |
| 处理标志 | 识别未处理|已处理 | 是 |
| 启用状态 | 识别启用状态:启用|未启用|停用|开启|禁用 | 是 |
| 审核状态 | 识别审核状态:免审|不免审 | 是 |
| 是否员工 | 识别是否员工:员工|非员工 | 是 |
| 是否自愿 | 识别是否自愿:自愿|非自愿 | 是 |
| 是否有效 | 识别有效状态:有效|无效 | 是 |
| 删除状态 | 识别删除状态:删除|未删除 | 是 |
| 使用状态 | 识别使用状态:使用中|已停用 | 是 |
| 16进制颜色 | 识别16进制颜色,如:#00CED1、#FF0000。 | 是 |
| 港澳台居民居住证 | 识别港澳台居民居住证 | 是 |
| 香港居民身份证 | 识别香港居民身份证 | 是 |
| 澳门居民身份证 | 识别澳门居民身份证 | 是 |
| 港澳居民来往内地通行证 | 识别港澳居民来往内地通行证 | 是 |
| 台湾居民身份证 | 识别台湾居民身份证 | 是 |
| 台湾居民来往大陆通行证 | 识别台湾居民来往大陆通行证 | 是 |
| 内地居民往返台湾通行证 | 识别内地居民往返台湾通行证 | 是 |
| 内地居民往返港澳通行证编码 | 识别内地居民往返港澳通行证编码 | 是 |
| 中国护照 | 识别中国护照 | 是 |
| 中国军官证 | 识别中国军官证 | 是 |
| 中国专利申请号 | 识别中国专利申请号 | 是 |
| 中国专利发布号 | 识别中国专利发布号 | 是 |
| 中国婚姻状况登记编码 | 识别中国婚姻状况登记编码 | 是 |
| 中国座机号码 | 识别中国座机号码 | 是 |
| 中国小学年级 | 识别中国小学年级。 一年级|二年级|三年级|四年级|五年级|六年级 | 是 |
| 中国高中年级 | 识别中国高中年级。 高一|高二|高三 | 是 |
| 中国初中年级 | 识别中国初中年级。 初一|初二|初三 | 是 |
| 中国本科年级 | 识别中国本科年级。 大一|大二|大三|大四 | 是 |
| 中国研究生年级 | 识别中国研究生年级。 研一|研二|研三 | 是 |
| 中国教师资格证编码 | 识别中国教师资格证编码 | 是 |
| 中国职业分类(2022) | 识别中国职业分类(2022),如:国家机关、党群组织、企业、事业单位负责人。 | 是 |
| 中国地址 | 识别中国地址,如:黑龙江省黑河市五大连池市新发乡永和村。 | 是 |
| 中国大学代码 | 识别中国大学代码 | 是 |
| 中国学历证书编码 | 识别中国学历证书编码 | 是 |
| 经度 | 识别经度,如:-55.951511。 | 是 |
| 纬度 | 识别纬度,如:157.6197。 | 是 |
| 安全码 | 识别安全码 | 是 |
| 社会统一信用代码 | 识别中国社会统一信用代码 | 是 |
| 国际标准刊号 | 识别国际标准刊号,如:ISSN0409-3816。 | 是 |
| 年 | 识别年份 | 是 |
| 日 | 识别日 | 是 |
| 数据隐私分类 | 识别数据隐私分类。 非个人数据|一般个人数据|隐私个人数据|敏感个人数据 | 是 |
| 云服务类型 | 识别云服务类型。 | 是 |
| 上市状态 | 识别上市状态。 未上市|已上市|退市|暂停上市|恢复上市|摘牌 | 是 |
| 星期 | 识别星期。 星期一|星期二|星期三|星期四|星期五|星期六|星期日 | 是 |
| 星期缩写 | 识别英文星期缩写,如:Mon、Tues。 | 是 |
| 政治面貌 | 识别政治面貌。 中共党员|中共预备党员|共青团员|民革党员|民盟盟员|民建会员|民进会员|农工党党员|致公党党员|九三学社社员|台盟盟员|无党派人士|群众 | 是 |
| 在职状态 | 识别在职状态。 在职|离职|待业 | 是 |
| 季度 | 识别季度。 第一季度|第二季度|第三季度|第四季度 | 是 |
| 季度简称 | 识别季度的简称。 Q1|Q2|Q3|Q4|q1|q2|q3|q4 | 是 |
| 排名 | 识别排名,如:第1名。 | 是 |
| 奖牌 | 识别奖牌。 金牌|银牌|铜牌 | 是 |
| 增值税纳税人分类 | 识别增值税纳税人分类。 一般纳税人|小规模纳税人|双定户 | 是 |
| 纳税人类别 | 识别纳税人类别。 自然人|个体工商户|法人 | 是 |
| 国家发展阶段类型 | 识别国家发展阶段类型。 发达国家|发展中国家 | 是 |
| 世界国家全称 | 识别世界国家全称。如:中华人民共和国。 | 是 |
| 星期简写 | 识别星期简写。 周一|周二|周三|周四|周五|周六|周日 | 是 |
| 星座 | 识别中文星座名。 白羊座|金牛座|双子座|巨蟹座|狮子座|处女座|天秤座|天蝎座|射手座|摩羯座|水瓶座|双鱼座 | 是 |
| 摄氏温度 | 识别摄氏温度,如:-61°C、1°C。 | 是 |
| 华氏温度 | 识别华氏温度,如:-29°F、4°F。 | 是 |
| 家庭关系大类 | 识别家庭关系大类。 父母|配偶|子女 | 是 |
| 家庭关系小类 | 识别家庭关系小类。 配偶|妻子|丈夫|儿子|女儿|孙子|孙女|兄弟|姊妹|父亲|母亲|祖父|祖母|外祖父|外祖母|姑姑|叔叔|舅舅|姨妈 | 是 |
| 户口户别 | 识别户口户别。 家庭户|集体户 | 是 |
| 政治面貌简称 | 识别政治面貌简称。 党员|团员|预备党员|少先队员|群众 | 是 |
| 生育状态 | 识别生育状态。 已育|未育|未知 | 是 |
| 日期(年月日) | 识别年月日格式的日期,如:2001年07月04日、1912年10月30日。 | 是 |
| 日期(年月) | 识别年月格式的日期,如:1999年12月、1999年10月。 | 是 |
| 日期(月日) | 识别月日格式的日期,如:10月18日、10月30日。 | 是 |
| 星座 | 识别星座名,如:cancer、sagittarius。 | 是 |
| 中国座机号 | 识别中国座机号码 | 是 |
| 中国企业组织机构代码 | 识别中国企业组织机构代码 | 是 |
| 贷款分类(信用程度) | 识别信用程度维度的贷款分类。 信用贷款|担保贷款|票据贴现 | 是 |
| 贷款分类(使用期限) | 识别使用期限维度的贷款分类。 短期贷款|中期贷款|长期贷款 | 是 |
| 贷款分类(经营属性) | 识别经营属性维度的贷款分类。 自营贷款|委托贷款|特定贷款 | 是 |
| 授信种类 | 识别授信种类。 基本授信|特别授信 | 是 |