Kafka日志介绍
日志描述
日志路径：Kafka相关日志的默认存储路径为“/var/log/Bigdata/kafka”，审计日志的默认存储路径为“/var/log/Bigdata/audit/kafka”。
- Broker：“/var/log/Bigdata/kafka/broker”（运行日志）
- KafkaUI：“/var/log/Bigdata/kafka/ui”（运行日志）
- MirrorMaker：“/var/log/Bigdata/kafka/mirrormaker”（运行日志）
日志归档规则：Kafka的日志启动了自动压缩归档功能，默认情况下，当日志大小超过30MB的时候，会自动压缩，压缩后的日志文件名规则为“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。
日志类型 | 日志文件名 | 描述 |
|---|---|---|
运行日志 | server.log | Broker进程的server运行日志。 |
controller.log | Broker进程的controller运行日志。 | |
kafka-request.log | Broker进程的request运行日志。 | |
log-cleaner.log | Broker进程的cleaner运行日志。 | |
state-change.log | Broker进程的state-change运行日志。 | |
kafkaServer-<SSH_USER>-<DATE>-<PID>-gc.log | Broker进程的GC日志。 | |
postinstall.log | Broker安装后的工作日志。 | |
prestart.log | Broker启动前的工作日志。 | |
checkService.log | Broker启动是否成功的检查日志。 | |
start.log | Broker进程启动日志。 | |
stop.log | Broker进程停止日志。 | |
checkavailable.log | Kafka服务健康状态检查日志。 | |
checkInstanceHealth.log | Broker实例健康状态检测日志。 | |
kafka-authorizer.log | Broker鉴权日志。 | |
kafka-root.log | Broker基础日志。 | |
cleanup.log | Broker卸载的清理日志。 | |
metadata-backup-recovery.log | Broker备份恢复日志。 | |
ranger-kafka-plugin-enable.log | Broker启动Ranger插件日志。 | |
server.out | Broker jvm日志。 | |
audit.log | Ranger鉴权插件鉴权日志。此日志统一归档在“/var/log/Bigdata/audit/kafka”目录下。 |
日志类型 | 日志文件名 | 描述 |
|---|---|---|
运行日志 | kafka-ui.log | KafkaUI进程的运行日志。 |
postinstall.log | KafkaUI安装后的工作日志。 | |
cleanup.log | KafkaUI卸载的清理日志。 | |
prestart.log | KafkaUI启动前的工作日志。 | |
ranger-kafka-plugin-enable.log | KafkaUI启动Ranger插件日志。 | |
start.log | KafkaUI进程启动日志。 | |
stop.log | KafkaUI进程停止日志。 | |
start.out | KafkaUI进程启动信息。 | |
审计日志 | audit.log | KafkaUI服务审计日志。 |
鉴权日志 | kafka-authorizer.log | Kafka开源自带鉴权插件运行日志。 此日志统一归档在“/var/log/Bigdata/audit/kafka/kafkaui”目录下。 |
ranger-authorizer.log | Ranger鉴权插件运行日志。此日志统一归档在“/var/log/Bigdata/audit/kafka/kafkaui”目录下。 |
日志类型 | 日志文件名 | 描述 |
|---|---|---|
运行日志 | mirrormaker.out | MirrorMaker进程启动信息。 |
mirrormaker.log | MirrorMaker进程的运行日志。 | |
cleanup.log | MirrorMaker卸载的清理日志。 | |
prestart.log | MirrorMaker启动前的工作日志。 | |
start.log | MirrorMaker进程启动日志。 | |
postinstall.log | MirrorMaker安装后的工作日志。 | |
stop.log | MirrorMaker进程停止日志。 | |
mirrorMaker-omm-***-pid***-gc.log.*.current | MirrorMaker进程gc日志。 |
日志级别
Kafka提供了如表4所示的日志级别。
运行日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。
级别 | 描述 |
|---|---|
ERROR | ERROR表示系统运行的错误信息。 |
WARN | WARN表示当前事件处理存在异常信息。 |
INFO | INFO表示记录系统及各事件正常运行状态信息。 |
DEBUG | DEBUG表示记录系统及系统的调试信息。 |
如果您需要修改日志级别，请执行如下操作：
- 登录MRS集群Manager。
登录集群Manager具体操作，请参考访问MRS集群Manager。
- 选择“集群 > 服务 > Kafka > 配置 > 全部配置”。
- 左边菜单栏中选择所需修改的角色所对应的日志菜单。
- 选择所需修改的日志级别。
- 保存配置，在弹出窗口中单击“确定”使配置生效。
配置完成后立即生效，不需要重启服务。
日志格式
Kafka的日志格式如下所示：
日志类型 | 格式 | 示例 |
|---|---|---|
运行日志 | <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件调用类全名>(<日志打印文件>:<行号>) | 2015-08-08 11:09:53,483 | INFO | [main] | Loading logs. | kafka.log.LogManager (Logging.scala:68) |
<yyyy-MM-dd HH:mm:ss><HostName><组件名><logLevel><Message> | 2015-08-08 11:09:51 10-165-0-83 Kafka INFO Running kafka-start.sh. |
相关文档
- 如需在Manager在线检索HDFS或者其他组件日志，具体操作请参见在线检索MRS集群日志。
- 如需批量导出各个服务角色所有实例生成的日志，具体操作请参见下载MRS集群日志。
- 如需查看组件各角色实例的日志内容并下载指定日志文件，具体操作请参见查看MRS组件角色实例日志。
- 如需采集指定角色或实例的堆栈信息，具体操作请参见采集MRS集群服务堆栈信息。
