CDL任务运行一段时间后发生“104”或“143”报错

现象描述

CDL任务运行一段时间后，Yarn任务失败，并返回状态码“104”或“143”。下图为返回状态码“143”：

可能原因

抓取到Hudi中的一批数据量过大，导致任务内存不足。

处理步骤

1. 登录FusionInsight Manager，选择“集群 > 服务 > CDL”，单击“CDLService UI”右侧的超链接进入CDLService WebUI界面，在数据同步任务作业列表界面选择该作业所在行的“更多 > 停止”，等待任务停止完成后选择“更多 > 编辑”。
2. 修改Hudi的“max.rate.per.partition”参数值为“6000”，并单击“保存”。
3. 在数据同步任务作业列表界面选择该任务所在行的“更多 > 重启”，重新启动该任务。