Storm日志介绍
本章节内容适用于MRS 3.x及后续版本。
日志描述
日志路径：Storm相关日志的默认存储路径为“/var/log/Bigdata/storm/角色名”（运行日志），“/var/log/Bigdata/audit/storm/角色名”（审计日志）。
- Nimbus：“/var/log/Bigdata/storm/nimbus”（运行日志），“/var/log/Bigdata/audit/storm/nimbus”（审计日志）
- Supervisor：“/var/log/Bigdata/storm/supervisor”（运行日志），“/var/log/Bigdata/audit/storm/supervisor”（审计日志）
- UI：“/var/log/Bigdata/storm/ui”（运行日志），“/var/log/Bigdata/audit/storm/ui”（审计日志）
- Logviewer：“/var/log/Bigdata/storm/logviewer”（运行日志），“/var/log/Bigdata/audit/storm/logviewer”（审计日志）
日志归档规则：Storm的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过10MB的时候会自动压缩，压缩后的日志文件名规则为：“<原有日志名>.log.[编号].gz”。默认最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。
审计日志压缩后的日志文件名规则为：“audit.log.[yyyy-MM-dd].[编号].zip”。该文件永远都不会删除。
| 日志类型 | 日志文件名 | 描述 |
|---|---|---|
| 运行日志 | nimbus/access.log | Nimbus用户访问日志。 |
| nimbus/nimbus-<PID>-gc.log | Nimbus进程的GC日志。 | |
| nimbus/checkavailable.log | Nimbus可用性检查日志。 | |
| nimbus/checkService.log | Nimbus可服务性检查日志。 | |
| nimbus/metrics.log | Nimbus监控统计的日志。 | |
| nimbus/nimbus.log | Nimbus进程运行日志。 | |
| nimbus/postinstall.log | Nimbus安装后的工作日志。 | |
| nimbus/prestart.log | Nimbus启动前的工作日志。 | |
| nimbus/start.log | Nimbus启动的工作日志。 | |
| nimbus/stop.log | Nimbus停止的工作日志。 | |
| supervisor/access.log | Supervisor用户访问日志。 | |
| supervisor/metrics.log | Supervisor监控统计的日志。 | |
| supervisor/postinstall.log | Supervisor安装后的工作日志。 | |
| supervisor/prestart.log | Supervisor启动前的工作日志。 | |
| supervisor/start.log | Supervisor启动的工作日志。 | |
| supervisor/stop.log | Supervisor停止的工作日志。 | |
| supervisor/supervisor.log | Supervisor进程运行日志。 | |
| supervisor/supervisor-<PID>-gc.log | Supervisor进程的GC日志。 | |
| ui/access.log | UI用户访问日志。 | |
| ui/metric.log | UI监控统计的日志。 | |
| ui/ui-<PID>-gc.log | UI进程的GC日志。 | |
| ui/postinstall.log | UI安装后的工作日志。 | |
| ui/prestart.log | UI启动前的工作日志。 | |
| ui/start.log | UI启动的工作日志。 | |
| ui/stop.log | UI停止的工作日志。 | |
| ui/ui.log | UI进程运行日志。 | |
| logviewer/access.log | Logviewer用户访问日志。 | |
| logviewer/metric.log | Logviewer监控统计的日志。 | |
| logviewer/logviewer-<PID>-gc.log | Logviewer进程的GC日志。 | |
| logviewer/logviewer.log | logviewer运行日志。 | |
| logviewer/postinstall.log | logviewer安装后的工作日志。 | |
| logviewer/prestart.log | logviewer启动前的工作日志。 | |
| logviewer/start.log | logviewer启动的工作日志。 | |
| logviewer/stop.log | logviewer停止的工作日志。 | |
| supervisor/[topologyId]-worker-[端口号].log | Worker进程运行日志，一个端口占用一个日志文件，系统默认包含29100,29101,29102,29103,29304五个端口。 | |
| supervisor/metadata/[topologyid]-worker-[端口号].yaml | worker日志元数据文件，logviewer在清理日志的时候会以该文件来作为清理依据。该文件会被logviewer日志清理线程根据一定条件自动删除。 | |
| nimbus/cleanup.log | Nimbus卸载的清理日志。 | |
| logviewer/cleanup.log | logviewer卸载的清理日志。 | |
| ui/cleanup.log | UI卸载的清理日志。 | |
| supervisor/cleanup.log | Supervisor卸载的清理日志。 | |
| leader_switch.log | Storm主备倒换运行日志。 | |
| 审计日志 | nimbus/audit.log | Nimbus审计日志。 |
| ui/audit.log | UI审计日志。 | |
| supervisor/audit.log | Supervisor审计日志。 | |
| logviewer/audit | Logviewer审计日志。 |
日志级别
Storm提供了如表2所示的日志级别。
运行日志和审计日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。
| 级别 | 描述 |
|---|---|
| ERROR | ERROR表示系统运行的错误信息。 |
| WARN | WARN表示当前事件处理存在异常信息。 |
| INFO | INFO表示记录系统及各事件正常运行状态信息。 |
| DEBUG | DEBUG表示记录系统及系统的调试信息。 |
如果您需要修改日志级别，请执行如下操作：
- 请参考修改集群服务配置参数，进入Storm的“全部配置”页面。
- 左边菜单栏中选择所需修改的角色所对应的日志菜单。
- 选择所需修改的日志级别。
- 保存配置，在弹出窗口中单击“确定”使配置生效。
日志格式
Storm的日志格式如下所示：
| 日志类型 | 格式 | 示例 |
|---|---|---|
| 运行日志 | %d{yyyy-MM-dd HH:mm:ss,SSS} | %-5p | [%t] | %m | %logger (%F:%L) %n | 2015-03-11 23:04:00,241 | INFO | [RMI TCP Connection(2646)-10.0.0.2] | The baseSleepTimeMs [1000] the maxSleepTimeMs [1000] the maxRetries [1] | backtype.storm.utils.StormBoundedExponentialBackoffRetry (StormBoundedExponentialBackoffRetry.java:46) |
| <yyyy-MM-dd HH:mm:ss,SSS><HostName><RoleName><logLevel><Message> | 2017-03-28 02:57:52 493 10-5-146-1 storm- INFO Nimbus start normally | |
| 审计日志 | <用户名><用户IP><时间><操作><操作对象><操作结果> | UserName=storm/hadoop, UserIP=10.10.0.2, Time=Tue Mar 10 01:15:35 CST 2015, Operation=Kill, Resource=test, Result=Success |
