从ogg同步数据到Hudi时,ogg Source配置的Task值与任务实际运行的Task数量不一致
现象描述
执行从ogg同步数据到Hudi的CDL任务时,源端(ThirdKafka)中指定的“tasks.max”值与任务实际运行的Task数量不一致。
例如,在CDL WebUI界面查看源端作业ThirdKafka配置的“tasks.max”值为“3”:
但查看任务实际运行的Task只有“id: 0, state: xxx”,即Task数量为1:
可能原因
当ogg为CDL同步任务的数据源时,ogg Source实际运行task数量取“source.topics”与“tasks.max”配置的参数值的最小值。
处理步骤
- 登录FusionInsight Manager,选择“集群 > 服务 > CDL”,单击“CDLService UI”右侧的超链接进入CDLService WebUI界面,在数据同步任务作业列表界面选择该作业所在行的“更多 > 停止”,等待任务停止完成后选择“更多 > 编辑”。
- 修改Thirdk Kafka的“tasks.max”参数值与“source.topics”配置的Topic数一致,并单击“保存”。
- 在数据同步任务作业列表界面选择该任务所在行的“启动”,重新启动该任务。