更新时间:2024-07-24 GMT+08:00

Flume日志介绍

日志描述

日志路径:Flume相关日志的默认存储路径为“/var/log/Bigdata/角色名”。

  • FlumeServer:“/var/log/Bigdata/flume/flume”
  • FlumeClient:“/var/log/Bigdata/flume-client-n/flume”
  • MonitorServer:“/var/log/Bigdata/flume/monitor”

日志归档规则:Flume日志启动了自动压缩归档功能,缺省情况下,当日志大小超过50MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。

表1 Flume日志列表

日志类型

日志文件名

描述

运行日志

/flume/flumeServer.log

FlumeServer运行环境信息日志。

/flume/install.log

FlumeServer安装日志。

/flume/flumeServer-gc.log.<编号>

FlumeServer进程的GC归档日志。

/flume/prestartDvietail.log

Flume启动前的工作日志。

/flume/startDetail.log

Flume进程启动工作日志。

/flume/stopDetail.log

Flume进程停止日志。

/monitor/monitorServer.log

MonitorServer运行环境信息日志。

/monitor/startDetail.log

MonitorServer进程启动工作日志。

/monitor/stopDetail.log

MonitorServer进程停止日志。

function.log

外部函数调用日志。

/flume/flume-用户名-日期-pid-gc.log

Flume进程的GC日志。

/flume/Flume-audit.log

Flume客户端的审计日志。

/flume/startAgent.out

Flume启动前的进程参数日志。

堆栈信息日志(MRS 3.2.0及以后版本)

threadDump-<DATE>.log

NodeAgent下发停止服务指令时打印jstack日志。

日志级别

Flume提供了如表2所示的日志级别。

运行日志的级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。

表2 日志级别

日志类型

级别

描述

运行日志

FATAL

FATAL表示系统运行的致命错误信息。

ERROR

ERROR表示系统运行的错误信息。

WARN

WARN表示当前事件处理存在异常信息。

INFO

INFO表示记录系统及各事件正常运行状态信息。

DEBUG

DEBUG表示记录系统及系统的调试信息。

如果您需要修改日志级别,请执行如下操作:

  1. 请参考修改集群服务配置参数,进入Flume的“全部配置”页面。
  2. 左边菜单栏中选择所需修改的角色所对应的日志菜单。
  3. 选择所需修改的日志级别。
  4. 保存配置,在弹出窗口中单击“确定”使配置生效。

配置完成后即生效,不需要重启服务。

日志格式

Flume的日志格式如下所示:

表3 日志格式

日志类型

格式

示例

运行日志

<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level><产生该日志的线程名字>|<log中的message>|<日志事件的发生位置>

2014-12-12 11:54:57,316 | INFO | [main] | log4j dynamic load is start. | org.apache.flume.tools.LogDynamicLoad.start(LogDynamicLoad.java:59)

<yyyy-MM-dd HH:mm:ss,SSS><User Name><User IP><Time><Operation><Resource><Result><Detail>

2014-12-12 23:04:16,572 | INFO | [SinkRunner-PollingRunner-DefaultSinkProcessor] | SRCIP=null OPERATION=close