更新时间:2024-08-30 GMT+08:00
为什么CDL任务执行后Hudi中没有接收到数据
现象描述
抓取数据到Hudi中的CDL任务运行后,Kafka中有相关数据,Spark的RDD处理中无记录,Hudi中没有相关数据,并且Yarn日志报错:TopicAuthorizationException: No authorized to access topics
可能原因
当前用户没有消费Kafka数据的权限。
处理步骤
- 登录FusionInsight Manager,选择“系统 > 权限 > 用户”,单击提交CDL任务用户所在行的“修改”,添加“kafkaadmin”用户组,单击“确定”。
- 使用该用户登录FusionInsight Manager界面,选择“集群 > 服务 > CDL”,单击“CDLService UI”右侧的超链接进入CDLService WebUI界面,重新启动该任务。
父主题: CDL常见问题