更新时间:2024-08-01 GMT+08:00
CDL任务运行一段时间后发生“104”或“143”报错
现象描述
CDL任务运行一段时间后,Yarn任务失败,并返回状态码“104”或“143”。下图为返回状态码“143”:
可能原因
抓取到Hudi中的一批数据量过大,导致任务内存不足。
处理步骤
- 登录FusionInsight Manager,选择“集群 > 服务 > CDL”,单击“CDLService UI”右侧的超链接进入CDLService WebUI界面,在数据同步任务作业列表界面选择该作业所在行的“更多 > 停止”,等待任务停止完成后选择“更多 > 编辑”。
- 修改Hudi的“max.rate.per.partition”参数值为“6000”,并单击“保存”。
- 在数据同步任务作业列表界面选择该任务所在行的“更多 > 重启”,重新启动该任务。
父主题: CDL故障排除