Kafka日志介绍
日志描述
日志路径：Kafka相关日志的默认存储路径为“/var/log/Bigdata/kafka”，审计日志的默认存储路径为“/var/log/Bigdata/audit/kafka”。
- Broker：“/var/log/Bigdata/kafka/broker”（运行日志）
- KafkaUI：“/var/log/Bigdata/kafka/ui”（运行日志）
- MirrorMaker：“/var/log/Bigdata/kafka/mirrormaker”（运行日志）
日志归档规则：Kafka的日志启动了自动压缩归档功能，默认情况下，当日志大小超过30MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。
|
日志类型 |
日志文件名 |
描述 |
|---|---|---|
|
运行日志 |
server.log |
Broker进程的server运行日志。 |
|
controller.log |
Broker进程的controller运行日志。 |
|
|
kafka-request.log |
Broker进程的request运行日志。 |
|
|
log-cleaner.log |
Broker进程的cleaner运行日志。 |
|
|
state-change.log |
Broker进程的state-change运行日志。 |
|
|
kafkaServer-<SSH_USER>-<DATE>-<PID>-gc.log |
Broker进程的GC日志。 |
|
|
postinstall.log |
Broker安装后的工作日志。 |
|
|
prestart.log |
Broker启动前的工作日志。 |
|
|
checkService.log |
Broker启动是否成功的检查日志。 |
|
|
start.log |
Broker进程启动日志。 |
|
|
stop.log |
Broker进程停止日志。 |
|
|
checkavailable.log |
Kafka服务健康状态检查日志。 |
|
|
checkInstanceHealth.log |
Broker实例健康状态检测日志。 |
|
|
kafka-authorizer.log |
Broker鉴权日志。 |
|
|
kafka-root.log |
Broker基础日志。 |
|
|
cleanup.log |
Broker卸载的清理日志。 |
|
|
metadata-backup-recovery.log |
Broker备份恢复日志。 |
|
|
ranger-kafka-plugin-enable.log |
Broker启动Ranger插件日志。 |
|
|
server.out |
Broker jvm日志。 |
|
|
audit.log |
Ranger鉴权插件鉴权日志。此日志统一归档在“/var/log/Bigdata/audit/kafka”目录下。 |
|
日志类型 |
日志文件名 |
描述 |
|---|---|---|
|
运行日志 |
kafka-ui.log |
KafkaUI进程的运行日志。 |
|
postinstall.log |
KafkaUI安装后的工作日志。 |
|
|
cleanup.log |
KafkaUI卸载的清理日志。 |
|
|
prestart.log |
KafkaUI启动前的工作日志。 |
|
|
ranger-kafka-plugin-enable.log |
KafkaUI启动Ranger插件日志。 |
|
|
start.log |
KafkaUI进程启动日志。 |
|
|
stop.log |
KafkaUI进程停止日志。 |
|
|
start.out |
KafkaUI进程启动信息。 |
|
|
审计日志 |
audit.log |
KafkaUI服务审计日志。 |
|
鉴权日志 |
kafka-authorizer.log |
Kafka开源自带鉴权插件运行日志。 此日志统一归档在“/var/log/Bigdata/audit/kafka/kafkaui”目录下。 |
|
ranger-authorizer.log |
Ranger鉴权插件运行日志。此日志统一归档在“/var/log/Bigdata/audit/kafka/kafkaui”目录下。 |
|
日志类型 |
日志文件名 |
描述 |
|---|---|---|
|
运行日志 |
mirrormaker.out |
MirrorMaker进程启动信息。 |
|
mirrormaker.log |
MirrorMaker进程的运行日志。 |
|
|
cleanup.log |
MirrorMaker卸载的清理日志。 |
|
|
prestart.log |
MirrorMaker启动前的工作日志。 |
|
|
start.log |
MirrorMaker进程启动日志。 |
|
|
postinstall.log |
MirrorMaker安装后的工作日志。 |
|
|
stop.log |
MirrorMaker进程停止日志。 |
|
|
mirrorMaker-omm-***-pid***-gc.log.*.current |
MirrorMaker进程gc日志。 |
日志级别
Kafka提供了如表4所示的日志级别。
运行日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。
|
级别 |
描述 |
|---|---|
|
ERROR |
ERROR表示系统运行的错误信息。 |
|
WARN |
WARN表示当前事件处理存在异常信息。 |
|
INFO |
INFO表示记录系统及各事件正常运行状态信息。 |
|
DEBUG |
DEBUG表示记录系统及系统的调试信息。 |
如果您需要修改日志级别，请执行如下操作：
- 请参考修改集群服务配置参数，进入Kafka的“全部配置”页面。
- 左边菜单栏中选择所需修改的角色所对应的日志菜单。
- 选择所需修改的日志级别。
- 保存配置，在弹出窗口中单击“确定”使配置生效。
日志格式
Kafka的日志格式如下所示：
|
日志类型 |
格式 |
示例 |
|---|---|---|
|
运行日志 |
<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件调用类全名>(<日志打印文件>:<行号>) |
2015-08-08 11:09:53,483 | INFO | [main] | Loading logs. | kafka.log.LogManager (Logging.scala:68) |
|
<yyyy-MM-dd HH:mm:ss><HostName><组件名><logLevel><Message> |
2015-08-08 11:09:51 10-165-0-83 Kafka INFO Running kafka-start.sh. |
