更新时间:2021-03-18 GMT+08:00
FDI任务失败,修改问题后任务写入仍然报错
原因分析
Writer端写入数据时,先从Kafka通道的topic中消费数据,成功入库后才将消费偏移量提交给Kafka。如果写入数据时发生异常,将不会提交消费偏移量,等待修复问题后,重启任务,可以重新消费并处理未成功入库的数据。所以即使修改了任务配置,如果数据还是不符合目标端的要求,那么任务仍然执行失败。
解决方案
可参考以下三种方法进行处理:
- Kafka通道的topic中的数据老化时间为6小时,可以等待脏数据被清理掉后启动任务。
- 删除原任务并重建,那么Kafka通道中的topic会被删除,脏数据会被清理掉。
- 对于组合任务,可以删除此表,启动任务后,等Writer端消耗掉此表的数据,再将表加回来重新采集。
父主题: 数据集成组合任务