更新时间:2024-11-29 GMT+08:00

CDL任务执行后Hudi中没有接收到数据

现象描述

抓取数据到Hudi中的CDL任务运行后,Kafka中有相关数据,Spark的RDD处理中无记录,Hudi中没有相关数据,并且Yarn日志报错:TopicAuthorizationException: No authorized to access topics

可能原因

当前用户没有消费Kafka数据的权限。

处理步骤

  1. 登录FusionInsight Manager,选择“系统 > 权限 > 用户”,单击提交CDL任务用户所在行的“修改”,添加“kafkaadmin”用户组,单击“确定”。
  2. 使用该用户登录FusionInsight Manager界面,选择“集群 > 服务 > CDL”,单击“CDLService UI”右侧的超链接进入CDLService WebUI界面,重新启动该任务。