Flume日志介绍
日志描述
日志路径：Flume相关日志的默认存储路径为“/var/log/Bigdata/角色名”。
- FlumeServer：“/var/log/Bigdata/flume/flume”
- FlumeClient：“/var/log/Bigdata/flume-client-n/flume”
- MonitorServer：“/var/log/Bigdata/flume/monitor”
日志归档规则：Flume日志启动了自动压缩归档功能，缺省情况下，当日志大小超过50MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件，压缩文件保留个数可以在Manager界面中配置。
|
日志类型 |
日志文件名 |
描述 |
|---|---|---|
|
运行日志 |
/flume/flumeServer.log |
FlumeServer运行环境信息日志。 |
|
/flume/install.log |
FlumeServer安装日志。 |
|
|
/flume/flumeServer-gc.log.<编号> |
FlumeServer进程的GC归档日志。 |
|
|
/flume/prestartDvietail.log |
Flume启动前的工作日志。 |
|
|
/flume/startDetail.log |
Flume进程启动工作日志。 |
|
|
/flume/stopDetail.log |
Flume进程停止日志。 |
|
|
/monitor/monitorServer.log |
MonitorServer运行环境信息日志。 |
|
|
/monitor/startDetail.log |
MonitorServer进程启动工作日志。 |
|
|
/monitor/stopDetail.log |
MonitorServer进程停止日志。 |
|
|
function.log |
外部函数调用日志。 |
|
|
/flume/flume-用户名-日期-pid-gc.log |
Flume进程的GC日志。 |
|
|
/flume/Flume-audit.log |
Flume客户端的审计日志。 |
|
|
/flume/startAgent.out |
Flume启动前的进程参数日志。 |
|
|
堆栈信息日志 |
threadDump-<DATE>.log |
NodeAgent下发停止服务指令时打印jstack日志。 |
日志级别
Flume提供了如表2所示的日志级别。
运行日志的级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。
|
日志类型 |
级别 |
描述 |
|---|---|---|
|
运行日志 |
FATAL |
FATAL表示系统运行的致命错误信息。 |
|
ERROR |
ERROR表示系统运行的错误信息。 |
|
|
WARN |
WARN表示当前事件处理存在异常信息。 |
|
|
INFO |
INFO表示记录系统及各事件正常运行状态信息。 |
|
|
DEBUG |
DEBUG表示记录系统及系统的调试信息。 |
如果您需要修改日志级别，请执行如下操作：
- 请参考修改集群服务配置参数，进入Flume的“全部配置”页面。
- 左边菜单栏中选择所需修改的角色所对应的日志菜单。
- 选择所需修改的日志级别。
- 保存配置，在弹出窗口中单击“确定”使配置生效。
配置完成后即生效，不需要重启服务。
日志格式
Flume的日志格式如下所示：
|
日志类型 |
格式 |
示例 |
|---|---|---|
|
运行日志 |
<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level><产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> |
2014-12-12 11:54:57,316 | INFO | [main] | log4j dynamic load is start. | org.apache.flume.tools.LogDynamicLoad.start(LogDynamicLoad.java:59) |
|
<yyyy-MM-dd HH:mm:ss,SSS><User Name><User IP><Time><Operation><Resource><Result><Detail> |
2014-12-12 23:04:16,572 | INFO | [SinkRunner-PollingRunner-DefaultSinkProcessor] | SRCIP=null OPERATION=close |
