更新时间:2024-07-24 GMT+08:00

CDL同步任务名对应的Topic分区过多

现象描述

CDL任务启动后,在Kaka WebUI的“Topic List”列表中查看到该CDL任务的名称的“Partitions Num”值过大。

可能原因

CDL任务配置了Topic Table Mapping,未配置WhiteList参数,该任务所配置的Schema的CDL任务未同步的表过多,导致CDL任务名称创建时分区过多。

处理步骤

  1. 登录FusionInsight Manager,选择“集群 > 服务 > CDL”,单击“CDLService UI”右侧的超链接进入CDLService WebUI界面,在数据同步任务作业列表界面选择该作业所在行的“更多 > 停止”,等待任务停止完成后选择“更多 > 编辑”。
  2. 修改Source侧的“WhiteList”参数值与配置的Topic Table Mapping表数一致,并单击“保存”。
  3. 登录FusionInsight Manager,选择“集群 > 服务 > Kafka”,单击“Kafka UI”右侧的超链接进入Kafka WebUI界面,在Topics页签搜索CDL任务名称,选择“Operation ”列的“Action > Delete”。
  4. 在CDL WebUI界面的数据同步任务作业列表中,选择该任务所在行的“启动”,重新启动该任务。