Storm日志介绍
本章节内容适用于MRS 3.x及后续版本。
日志描述
日志路径：Storm相关日志的默认存储路径为“/var/log/Bigdata/storm/角色名”（运行日志），“/var/log/Bigdata/audit/storm/角色名”（审计日志）。
- Nimbus：“/var/log/Bigdata/storm/nimbus”（运行日志），“/var/log/Bigdata/audit/storm/nimbus”（审计日志）
- Supervisor：“/var/log/Bigdata/storm/supervisor”（运行日志），“/var/log/Bigdata/audit/storm/supervisor”（审计日志）
- UI：“/var/log/Bigdata/storm/ui”（运行日志），“/var/log/Bigdata/audit/storm/ui”（审计日志）
- Logviewer：“/var/log/Bigdata/storm/logviewer”（运行日志），“/var/log/Bigdata/audit/storm/logviewer”（审计日志）
日志归档规则：Storm的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过10MB的时候会自动压缩，压缩后的日志文件名规则为：“<原有日志名>.log.[编号].gz”。默认最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。
审计日志压缩后的日志文件名规则为：“audit.log.[yyyy-MM-dd].[编号].zip”。该文件永远都不会删除。
|
日志类型 |
日志文件名 |
描述 |
|---|---|---|
|
运行日志 |
nimbus/access.log |
Nimbus用户访问日志。 |
|
nimbus/nimbus-<PID>-gc.log |
Nimbus进程的GC日志。 |
|
|
nimbus/checkavailable.log |
Nimbus可用性检查日志。 |
|
|
nimbus/checkService.log |
Nimbus可服务性检查日志。 |
|
|
nimbus/metrics.log |
Nimbus监控统计的日志。 |
|
|
nimbus/nimbus.log |
Nimbus进程运行日志。 |
|
|
nimbus/postinstall.log |
Nimbus安装后的工作日志。 |
|
|
nimbus/prestart.log |
Nimbus启动前的工作日志。 |
|
|
nimbus/start.log |
Nimbus启动的工作日志。 |
|
|
nimbus/stop.log |
Nimbus停止的工作日志。 |
|
|
supervisor/access.log |
Supervisor用户访问日志。 |
|
|
supervisor/metrics.log |
Supervisor监控统计的日志。 |
|
|
supervisor/postinstall.log |
Supervisor安装后的工作日志。 |
|
|
supervisor/prestart.log |
Supervisor启动前的工作日志。 |
|
|
supervisor/start.log |
Supervisor启动的工作日志。 |
|
|
supervisor/stop.log |
Supervisor停止的工作日志。 |
|
|
supervisor/supervisor.log |
Supervisor进程运行日志。 |
|
|
supervisor/supervisor-<PID>-gc.log |
Supervisor进程的GC日志。 |
|
|
ui/access.log |
UI用户访问日志。 |
|
|
ui/metric.log |
UI监控统计的日志。 |
|
|
ui/ui-<PID>-gc.log |
UI进程的GC日志。 |
|
|
ui/postinstall.log |
UI安装后的工作日志。 |
|
|
ui/prestart.log |
UI启动前的工作日志。 |
|
|
ui/start.log |
UI启动的工作日志。 |
|
|
ui/stop.log |
UI停止的工作日志。 |
|
|
ui/ui.log |
UI进程运行日志。 |
|
|
logviewer/access.log |
Logviewer用户访问日志。 |
|
|
logviewer/metric.log |
Logviewer监控统计的日志。 |
|
|
logviewer/logviewer-<PID>-gc.log |
Logviewer进程的GC日志。 |
|
|
logviewer/logviewer.log |
logviewer运行日志。 |
|
|
logviewer/postinstall.log |
logviewer安装后的工作日志。 |
|
|
logviewer/prestart.log |
logviewer启动前的工作日志。 |
|
|
logviewer/start.log |
logviewer启动的工作日志。 |
|
|
logviewer/stop.log |
logviewer停止的工作日志。 |
|
|
supervisor/[topologyId]-worker-[端口号].log |
Worker进程运行日志，一个端口占用一个日志文件，系统默认包含29100,29101,29102,29103,29304五个端口。 |
|
|
supervisor/metadata/[topologyid]-worker-[端口号].yaml |
worker日志元数据文件，logviewer在清理日志的时候会以该文件来作为清理依据。该文件会被logviewer日志清理线程根据一定条件自动删除。 |
|
|
nimbus/cleanup.log |
Nimbus卸载的清理日志。 |
|
|
logviewer/cleanup.log |
logviewer卸载的清理日志。 |
|
|
ui/cleanup.log |
UI卸载的清理日志。 |
|
|
supervisor/cleanup.log |
Supervisor卸载的清理日志。 |
|
|
leader_switch.log |
Storm主备倒换运行日志。 |
|
|
审计日志 |
nimbus/audit.log |
Nimbus审计日志。 |
|
ui/audit.log |
UI审计日志。 |
|
|
supervisor/audit.log |
Supervisor审计日志。 |
|
|
logviewer/audit |
Logviewer审计日志。 |
日志级别
Storm提供了如表2所示的日志级别。
运行日志和审计日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。
|
级别 |
描述 |
|---|---|
|
ERROR |
ERROR表示系统运行的错误信息。 |
|
WARN |
WARN表示当前事件处理存在异常信息。 |
|
INFO |
INFO表示记录系统及各事件正常运行状态信息。 |
|
DEBUG |
DEBUG表示记录系统及系统的调试信息。 |
如果您需要修改日志级别，请执行如下操作：
- 请参考修改集群服务配置参数，进入Storm的“全部配置”页面。
- 左边菜单栏中选择所需修改的角色所对应的日志菜单。
- 选择所需修改的日志级别。
- 保存配置，在弹出窗口中单击“确定”使配置生效。
日志格式
Storm的日志格式如下所示：
|
日志类型 |
格式 |
示例 |
|---|---|---|
|
运行日志 |
%d{yyyy-MM-dd HH:mm:ss,SSS} | %-5p | [%t] | %m | %logger (%F:%L) %n |
2015-03-11 23:04:00,241 | INFO | [RMI TCP Connection(2646)-10.0.0.2] | The baseSleepTimeMs [1000] the maxSleepTimeMs [1000] the maxRetries [1] | backtype.storm.utils.StormBoundedExponentialBackoffRetry (StormBoundedExponentialBackoffRetry.java:46) |
|
<yyyy-MM-dd HH:mm:ss,SSS><HostName><RoleName><logLevel><Message> |
2017-03-28 02:57:52 493 10-5-146-1 storm- INFO Nimbus start normally |
|
|
审计日志 |
<用户名><用户IP><时间><操作><操作对象><操作结果> |
UserName=storm/hadoop, UserIP=10.10.0.2, Time=Tue Mar 10 01:15:35 CST 2015, Operation=Kill, Resource=test, Result=Success |
