文档首页/ MapReduce服务 MRS/ 组件操作指南(LTS版)/ 使用CDL/ CDL故障排除/ 从ogg同步数据到Hudi时,ogg Source配置的Task值与任务实际运行的Task数量不一致
更新时间:2024-07-24 GMT+08:00

从ogg同步数据到Hudi时,ogg Source配置的Task值与任务实际运行的Task数量不一致

现象描述

执行从ogg同步数据到Hudi的CDL任务时,源端(ThirdKafka)中指定的“tasks.max”值与任务实际运行的Task数量不一致。

例如,在CDL WebUI界面查看源端作业ThirdKafka配置的“tasks.max”值为“3”:

但查看任务实际运行的Task只有“id: 0, state: xxx”,即Task数量为1:

可能原因

当ogg为CDL同步任务的数据源时,ogg Source实际运行task数量取“source.topics”与“tasks.max”配置的参数值的最小值。

处理步骤

  1. 登录FusionInsight Manager,选择“集群 > 服务 > CDL”,单击“CDLService UI”右侧的超链接进入CDLService WebUI界面,在数据同步任务作业列表界面选择该作业所在行的“更多 > 停止”,等待任务停止完成后选择“更多 > 编辑”。
  2. 修改Thirdk Kafka的“tasks.max”参数值与“source.topics”配置的Topic数一致,并单击“保存”。
  3. 在数据同步任务作业列表界面选择该任务所在行的“启动”,重新启动该任务。