Kafka故障排除

本章节汇总了使用Kafka时遇到的常见故障及故障处理方法。

• Kafka客户端异常
  • Kafka连接ZooKeeper客户端时发生断连
  • 使用Kafka Shell命令无法操作Kafka集群
• Kafka Topic操作异常
  • 创建Kafka Topic时报错“NoAuthException”
  • 创建Kafka Topic时报错“NoNode for /brokers/ids”
  • 创建Kafka Topic时报错“replication factor larger than available brokers”
  • 创建Kafka Topic时，发现Partition的Leader显示为none
  • 获取Kafka Topic时报错“InvalidReplicationFactorException”
  • 删除Kafka Topic时发现无法删除
  • 删除Kafka Topic时报错“AdminOperationException”
  • 设置Kafka Topic ACL权限时报错“NoAuthException”
• 生产Kafka消息异常
  • Producer发送数据失败，报错“NullPointerException”
  • Producer发送数据失败，报错“TOPIC_AUTHORIZATION_FAILED”
  • Producer发送数据失败，报错“Too many open files in system”
  • Flume正常连接Kafka后发送消息失败
  • Kafka生产者写入单条记录过长
• 消费Kafka消息异常
  • Kafka消费者读取单条记录过长
  • Kafka Consumer消费数据丢失如何处理
  • Consumer消费数据时，存在重复消费现象
  • Consumer初始化成功，但无法从Kafka中获取指定Topic消息
  • Consumer消费数据失败，报错“SchemaException: Error reading field”
  • Consumer消费数据失败，Consumer一直处于等待状态
  • Consumer消费数据失败，报错“GROUP_COORDINATOR_NOT_AVAILABLE”
  • SparkStreaming消费Kafka消息失败，报错“Error getting partition metadata”
  • SparkStreaming消费Kafka消息失败，报错“Couldn't find leader offsets”
• 其他异常
  • 账号锁定导致启动Kafka组件失败
  • Kafka Broker上报进程异常，报错“IllegalArgumentException”
  • Kafka集群节点内，多磁盘数据量占用高如何处理