脏数据导致CSV数据类型问题插入MySQL报错

问题描述

客户作业失败，提示invalid utf-8 charater string ''。

故障分析

根据报错，考虑用户数据中存在脏数据，个别字段类型不匹配导致。

解决方案

1. 后台排查客户sqoop日志，考虑客户源端数据类型格式问题导致异常 （或让客户提供作业日志，或客户界面导出全量日志）。

   

2. 分析源端数据类型，发现源端数据类型中有脏数据，源端数据类型有问题。
3. 在CDM作业中配置脏数据功能，作业重跑成功，OBS桶排查脏数据类型存在问题，格式不匹配。