MySQL到DWS实时同步中,DWS为什么需要对主键null值进行过滤?
问题描述
MySQL到DWS链路 ,由于DWS的表是手动建立的,主键和MySQL不同。当DWS的主键字段在MySQL 中是非主键字段,如果该字段在MySQL中出现null值那么,写入到DWS中将会报错,报错信息如下:
原因分析
MySQL到DWS链路,由于DWS的表是手动建立的,主键和MySQL不同。当DWS的主键字段在MySQL 中是非主键字段时且该字段在MySQL中出现null值,那么写入到DWS中将会报错。
解决方案
在DWS写入数据前,对DWS的主键字段进行过滤,如果是null,则打印warning日志提示同时不写入该行数据。