更新时间:2022-05-13 GMT+08:00
分享

Flume常见问题

Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功,在日志里都可以看到提示。可以直接输入以下命令查看:

tailf /var/log/Bigdata/flume/flume/flumeServer.log

  • 问题:当配置文件上传后,发现异常,重新上传配置文件,发现仍然没有满足场景要求,但日志上没有任何异常。

    解决方法:重启此flume进程,kill -9 进程代码,再看日志。

  • 问题:连接HDFS出现java.lang.IllegalArgumentException: Keytab is not a readable file: /opt/test/conf/user.keytab。

    解决方法:添加Flume运行用户读写权限。

  • 问题:执行Flume客户端连接Kafka报如下错误:
    Caused by: java.io.IOException: /opt/FlumeClient/fusioninsight-flume-1.9.0/cof//jaas.conf (No such file or directory)

    解决方法:新增jaas.conf配置文件并保存到flume client的conf路径下。

    vi jaas.conf

    KafkaClient {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    keyTab="/opt/test/conf/user.keytab"
    principal="flume_hdfs@<系统域名>"
    useTicketCache=false
    storeKey=true
    debug=true;
    };

    参数keyTab和principal根据实际情况修改。

  • 问题:执行Flume客户端连接HBase报如下错误:
    Caused by: java.io.IOException: /opt/FlumeClient/fusioninsight-flume-1.9.0/cof//jaas.conf (No such file or directory)

    解决方法:新增jaas.conf配置文件并保存到flume client的conf路径下。

    vi jaas.conf

    Client {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    keyTab="/opt/test/conf/user.keytab"
    principal="flume_hbase@<系统域名>"
    useTicketCache=false
    storeKey=true
    debug=true;
    };

    参数keyTab和principal根据实际情况修改。

  • 问题:一旦提交配置文件后,flume agent即在占用资源运行,如何恢复到没有上传配置文件的状态?

    解决方法:提交一个内容为空的properties.properties文件。

分享:

    相关文档

    相关产品

close