Flume常见问题

Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功，在日志里都可以看到提示。可以直接输入以下命令查看：

tailf /var/log/Bigdata/flume/flume/flumeServer.log

• 问题：当配置文件上传后，发现异常，重新上传配置文件，发现仍然没有满足场景要求，但日志上没有任何异常。

  解决方法：重启此flume进程，kill -9 进程代码，再看日志。

• 问题：连接HDFS出现java.lang.IllegalArgumentException: Keytab is not a readable file: /opt/test/conf/user.keytab。

  解决方法：添加Flume运行用户读写权限。

• 问题：执行Flume客户端连接Kafka报如下错误：

  Caused by: java.io.IOException: /opt/FlumeClient/fusioninsight-flume-1.9.0/cof//jaas.conf (No such file or directory)

  解决方法：新增jaas.conf配置文件并保存到flume client的conf路径下。

  vi jaas.conf

  KafkaClient {
  com.sun.security.auth.module.Krb5LoginModule required
  useKeyTab=true
  keyTab="/opt/test/conf/user.keytab"
  principal="flume_hdfs@<系统域名>"
  useTicketCache=false
  storeKey=true
  debug=true;
  };

  参数keyTab和principal根据实际情况修改。

• 问题：执行Flume客户端连接HBase报如下错误：

  Caused by: java.io.IOException: /opt/FlumeClient/fusioninsight-flume-1.9.0/cof//jaas.conf (No such file or directory)

  解决方法：新增jaas.conf配置文件并保存到flume client的conf路径下。

  vi jaas.conf

  Client {
  com.sun.security.auth.module.Krb5LoginModule required
  useKeyTab=true
  keyTab="/opt/test/conf/user.keytab"
  principal="flume_hbase@<系统域名>"
  useTicketCache=false
  storeKey=true
  debug=true;
  };

  参数keyTab和principal根据实际情况修改。

• 问题：一旦提交配置文件后，flume agent即在占用资源运行，如何恢复到没有上传配置文件的状态？

  解决方法：提交一个内容为空的properties.properties文件。