更新时间:2022-09-30 GMT+08:00

Storm日志介绍

本章节内容适用于MRS 3.x及后续版本。

日志描述

日志路径:Storm相关日志的默认存储路径为“/var/log/Bigdata/storm/角色名”(运行日志),“/var/log/Bigdata/audit/storm/角色名”(审计日志)。

  • Nimbus:“/var/log/Bigdata/storm/nimbus”(运行日志),“/var/log/Bigdata/audit/storm/nimbus”(审计日志)
  • Supervisor:“/var/log/Bigdata/storm/supervisor”(运行日志),“/var/log/Bigdata/audit/storm/supervisor”(审计日志)
  • UI:“/var/log/Bigdata/storm/ui”(运行日志),“/var/log/Bigdata/audit/storm/ui”(审计日志)
  • Logviewer:“/var/log/Bigdata/storm/logviewer”(运行日志),“/var/log/Bigdata/audit/storm/logviewer”(审计日志)

日志归档规则:Storm的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过10MB的时候会自动压缩,压缩后的日志文件名规则为:“<原有日志名>.log.[编号].gz”。默认最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。

审计日志压缩后的日志文件名规则为:“audit.log.[yyyy-MM-dd].[编号].zip”。该文件永远都不会删除。

表1 Storm日志列表

日志类型

日志文件名

描述

运行日志

nimbus/access.log

Nimbus用户访问日志。

nimbus/nimbus-<PID>-gc.log

Nimbus进程的GC日志。

nimbus/checkavailable.log

Nimbus可用性检查日志。

nimbus/checkService.log

Nimbus可服务性检查日志。

nimbus/metrics.log

Nimbus监控统计的日志。

nimbus/nimbus.log

Nimbus进程运行日志。

nimbus/postinstall.log

Nimbus安装后的工作日志。

nimbus/prestart.log

Nimbus启动前的工作日志。

nimbus/start.log

Nimbus启动的工作日志。

nimbus/stop.log

Nimbus停止的工作日志。

supervisor/access.log

Supervisor用户访问日志。

supervisor/metrics.log

Supervisor监控统计的日志。

supervisor/postinstall.log

Supervisor安装后的工作日志。

supervisor/prestart.log

Supervisor启动前的工作日志。

supervisor/start.log

Supervisor启动的工作日志。

supervisor/stop.log

Supervisor停止的工作日志。

supervisor/supervisor.log

Supervisor进程运行日志。

supervisor/supervisor-<PID>-gc.log

Supervisor进程的GC日志。

ui/access.log

UI用户访问日志。

ui/metric.log

UI监控统计的日志。

ui/ui-<PID>-gc.log

UI进程的GC日志。

ui/postinstall.log

UI安装后的工作日志。

ui/prestart.log

UI启动前的工作日志。

ui/start.log

UI启动的工作日志。

ui/stop.log

UI停止的工作日志。

ui/ui.log

UI进程运行日志。

logviewer/access.log

Logviewer用户访问日志。

logviewer/metric.log

Logviewer监控统计的日志。

logviewer/logviewer-<PID>-gc.log

Logviewer进程的GC日志。

logviewer/logviewer.log

logviewer运行日志。

logviewer/postinstall.log

logviewer安装后的工作日志。

logviewer/prestart.log

logviewer启动前的工作日志。

logviewer/start.log

logviewer启动的工作日志。

logviewer/stop.log

logviewer停止的工作日志。

supervisor/[topologyId]-worker-[端口号].log

Worker进程运行日志,一个端口占用一个日志文件,系统默认包含29100,29101,29102,29103,29304五个端口。

supervisor/metadata/[topologyid]-worker-[端口号].yaml

worker日志元数据文件,logviewer在清理日志的时候会以该文件来作为清理依据。该文件会被logviewer日志清理线程根据一定条件自动删除。

nimbus/cleanup.log

Nimbus卸载的清理日志。

logviewer/cleanup.log

logviewer卸载的清理日志。

ui/cleanup.log

UI卸载的清理日志。

supervisor/cleanup.log

Supervisor卸载的清理日志。

leader_switch.log

Storm主备倒换运行日志。

审计日志

nimbus/audit.log

Nimbus审计日志。

ui/audit.log

UI审计日志。

supervisor/audit.log

Supervisor审计日志。

logviewer/audit

Logviewer审计日志。

日志级别

Storm提供了如表2所示的日志级别。

运行日志和审计日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。

表2 日志级别

级别

描述

ERROR

ERROR表示系统运行的错误信息。

WARN

WARN表示当前事件处理存在异常信息。

INFO

INFO表示记录系统及各事件正常运行状态信息。

DEBUG

DEBUG表示记录系统及系统的调试信息。

如果您需要修改日志级别,请执行如下操作:

  1. 请参考修改集群服务配置参数,进入Storm的“全部配置”页面。
  2. 左边菜单栏中选择所需修改的角色所对应的日志菜单。
  3. 选择所需修改的日志级别。
  4. 保存配置,在弹出窗口中单击“确定”使配置生效。

日志格式

Storm的日志格式如下所示:

表3 日志格式

日志类型

格式

示例

运行日志

%d{yyyy-MM-dd HH:mm:ss,SSS} | %-5p | [%t] | %m | %logger (%F:%L) %n

2015-03-11 23:04:00,241 | INFO | [RMI TCP Connection(2646)-10.0.0.2] | The baseSleepTimeMs [1000] the maxSleepTimeMs [1000] the maxRetries [1] | backtype.storm.utils.StormBoundedExponentialBackoffRetry (StormBoundedExponentialBackoffRetry.java:46)

<yyyy-MM-dd HH:mm:ss,SSS><HostName><RoleName><logLevel><Message>

2017-03-28 02:57:52 493 10-5-146-1 storm- INFO Nimbus start normally

审计日志

<用户名><用户IP><时间><操作><操作对象><操作结果>

UserName=storm/hadoop, UserIP=10.10.0.2, Time=Tue Mar 10 01:15:35 CST 2015, Operation=Kill, Resource=test, Result=Success