文档首页/ 应用与数据集成平台 ROMA Connect/ 故障排除/ 数据集成组合任务/ FDI任务失败,修改问题后任务写入仍然报错
更新时间:2021-03-18 GMT+08:00
分享

FDI任务失败,修改问题后任务写入仍然报错

原因分析

Writer端写入数据时,先从Kafka通道的topic中消费数据,成功入库后才将消费偏移量提交给Kafka。如果写入数据时发生异常,将不会提交消费偏移量,等待修复问题后,重启任务,可以重新消费并处理未成功入库的数据。所以即使修改了任务配置,如果数据还是不符合目标端的要求,那么任务仍然执行失败。

解决方案

可参考以下三种方法进行处理:

  • Kafka通道的topic中的数据老化时间为6小时,可以等待脏数据被清理掉后启动任务。
  • 删除原任务并重建,那么Kafka通道中的topic会被删除,脏数据会被清理掉。
  • 对于组合任务,可以删除此表,启动任务后,等Writer端消耗掉此表的数据,再将表加回来重新采集。

相关文档