更新时间:2024-07-10 GMT+08:00

源端Mysql增量采集每小时执行一次时部分数据丢失

原因分析

任务中配置的时间戳字段为updatetime,源端数据库中createtime记录了数据插入的时间,查看未采集到的数据,updatetime要早于createtime,导致任务运行时数据还没有插入updatetime的时间已经不在增量采集的时间段之内,所以部分数据采集不到。

解决方案

调整源端数据库的updatetime时间或任务配置时使用createtime作为时间戳字段。