更新时间:2023-03-17 GMT+08:00

Kafka日志介绍

本章节内容适用于MRS 3.x及后续版本。

日志描述

日志路径:Kafka相关日志的默认存储路径为“/var/log/Bigdata/kafka”,审计日志的默认存储路径为“/var/log/Bigdata/audit/kafka”。

  • Broker:“/var/log/Bigdata/kafka/broker”(运行日志)

日志归档规则:Kafka的日志启动了自动压缩归档功能,默认情况下,当日志大小超过30MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。

表1 Broker日志列表

日志类型

日志文件名

描述

运行日志

server.log

Broker进程的server运行日志。

controller.log

Broker进程的controller运行日志。

kafka-request.log

Broker进程的request运行日志。

log-cleaner.log

Broker进程的cleaner运行日志。

state-change.log

Broker进程的state-change运行日志。

kafkaServer-<SSH_USER>-<DATE>-<PID>-gc.log

Broker进程的GC日志。

postinstall.log

Broker安装后的工作日志。

prestart.log

Broker启动前的工作日志。

checkService.log

Broker启动是否成功的检查日志。

start.log

Broker进程启动日志。

stop.log

Broker进程停止日志。

checkavailable.log

Kafka服务健康状态检查日志。

checkInstanceHealth.log

Broker实例健康状态检测日志。

kafka-authorizer.log

Broker鉴权日志。

kafka-root.log

Broker基础日志。

cleanup.log

Broker卸载的清理日志。

metadata-backup-recovery.log

Broker备份恢复日志。

ranger-kafka-plugin-enable.log

Broker启动Ranger插件日志。

server.out

Broker jvm日志。

audit.log

Ranger鉴权插件鉴权日志。此日志统一归档在“/var/log/Bigdata/audit/kafka”目录下。

日志级别

Kafka提供了如表2所示的日志级别。

运行日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。

表2 日志级别

级别

描述

ERROR

ERROR表示系统运行的错误信息。

WARN

WARN表示当前事件处理存在异常信息。

INFO

INFO表示记录系统及各事件正常运行状态信息。

DEBUG

DEBUG表示记录系统及系统的调试信息。

如果您需要修改日志级别,请执行如下操作:

  1. 请参考修改集群服务配置参数,进入Kafka的“全部配置”页面。
  2. 左边菜单栏中选择所需修改的角色所对应的日志菜单。
  3. 选择所需修改的日志级别。
  4. 保存配置,在弹出窗口中单击“确定”使配置生效。

日志格式

Kafka的日志格式如下所示

表3 日志格式

日志类型

格式

示例

运行日志

<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件调用类全名>(<日志打印文件>:<行号>)

2015-08-08 11:09:53,483 | INFO | [main] | Loading logs. | kafka.log.LogManager (Logging.scala:68)

<yyyy-MM-dd HH:mm:ss><HostName><组件名><logLevel><Message>

2015-08-08 11:09:51 10-165-0-83 Kafka INFO Running kafka-start.sh.