文档首页/ 数据治理中心 DataArts Studio/ 用户指南/ 数据开发/ 实时处理集成作业开发/ 常见问题/ MySQL到DWS实时同步中,DWS为什么需要对主键null值进行过滤?
更新时间:2024-10-18 GMT+08:00

MySQL到DWS实时同步中,DWS为什么需要对主键null值进行过滤?

问题描述

MySQL到DWS链路 ,由于DWS的表是手动建立的,主键和MySQL不同。当DWS的主键字段在MySQL 中是非主键字段,如果该字段在MySQL中出现null值那么,写入到DWS中将会报错,报错信息如下:

图1 报错信息

原因分析

MySQL到DWS链路,由于DWS的表是手动建立的,主键和MySQL不同。当DWS的主键字段在MySQL 中是非主键字段时且该字段在MySQL中出现null值,那么写入到DWS中将会报错。

解决方案

在DWS写入数据前,对DWS的主键字段进行过滤,如果是null,则打印warning日志提示同时不写入该行数据。