更新时间:2023-03-17 GMT+08:00

HDFS日志介绍

日志描述

日志存储路径:HDFS相关日志的默认存储路径为“/var/log/Bigdata/hdfs/角色名”

  • NameNode:“/var/log/Bigdata/hdfs/nn”(运行日志),“/var/log/Bigdata/audit/hdfs/nn”(审计日志)。
  • DataNode:“/var/log/Bigdata/hdfs/dn”(运行日志),“/var/log/Bigdata/audit/hdfs/dn”(审计日志)。
  • ZKFC:“/var/log/Bigdata/hdfs/zkfc”(运行日志),“/var/log/Bigdata/audit/hdfs/zkfc”(审计日志)。
  • JournalNode:“/var/log/Bigdata/hdfs/jn”(运行日志),“/var/log/Bigdata/audit/hdfs/jn”(审计日志)。
  • Router:“/var/log/Bigdata/hdfs/router”(运行日志),“/var/log/Bigdata/audit/hdfs/router”(审计日志)。
  • HttpFS:“/var/log/Bigdata/hdfs/httpfs”(运行日志),“/var/log/Bigdata/audit/hdfs/httpfs”(审计日志)。

日志归档规则:HDFS的日志启动了自动压缩归档功能,默认情况下,当日志大小超过100MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在Manager界面中配置。

表1 HDFS日志列表

日志类型

日志文件名

描述

运行日志

hadoop-<SSH_USER>-<process_name>-<hostname>.log

HDFS系统日志,记录HDFS系统运行时候所产生的大部分日志。

hadoop-<SSH_USER>-<process_name>-<hostname>.out

HDFS运行环境信息日志。

hadoop.log

Hadoop客户端操作日志。

hdfs-period-check.log

周期运行的脚本的日志记录。包括:自动均衡、数据迁移、journalnode数据同步检测等。

<process_name>-<SSH_USER>-<DATE>-<PID>-gc.log

垃圾回收日志。

postinstallDetail.log

HDFS服务安装后启动前工作日志。

hdfs-service-check.log

HDFS服务启动是否成功的检查日志。

hdfs-set-storage-policy.log

HDFS数据存储策略日志。

cleanupDetail.log

HDFS服务卸载时候的清理日志。

prestartDetail.log

HDFS服务启动前集群操作的记录日志。

hdfs-recover-fsimage.log

NameNode元数据恢复日志。

datanode-disk-check.log

集群安装过程和使用过程中磁盘状态检测的记录日志。

hdfs-availability-check.log

HDFS服务是否可用日志。

hdfs-backup-fsimage.log

NameNode元数据备份日志。

startDetail.log

hdfs服务启动的详细日志。

hdfs-blockplacement.log

HDFS块放置策略记录日志。

upgradeDetail.log

升级日志。

hdfs-clean-acls-java.log

HDFS清除已删除角色的ACL信息的日志。

hdfs-haCheck.log

NameNode主备状态获取脚本运行日志。

<process_name>-jvmpause.log

进程运行中,记录JVM停顿的日志。

hadoop-<SSH_USER>-balancer-<hostname>.log

HDFS自动均衡的运行日志。

hadoop-<SSH_USER>-balancer-<hostname>.out

HDFS运行自动均衡的环境信息日志。

hdfs-switch-namenode.log

HDFS主备倒换运行日志

hdfs-router-admin.log

管理挂载表操作的运行日志

Tomcat日志

hadoop-omm-host1.out,httpfs-catalina.<DATE>.log,httpfs-host-manager.<DATE>.log,httpfs-localhost.<DATE>.log,httpfs-manager.<DATE>.log,localhost_access_web_log.log

tomcat运行日志

审计日志

hdfs-audit-<process_name>.log

ranger-plugin-audit.log

HDFS操作审计日志(例如:文件增删改查)。

SecurityAuth.audit

HDFS安全审计日志。

日志级别

HDFS中提供了如表2所示的日志级别,日志级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。

表2 日志级别

级别

描述

FATAL

FATAL表示系统运行的致命错误信息。

ERROR

ERROR表示系统运行的错误信息。

WARN

WARN表示当前事件处理存在异常信息。

INFO

INFO表示系统及各事件正常运行状态信息。

DEBUG

DEBUG表示系统及系统调试信息。

如果您需要修改日志级别,请执行如下操作:

  1. 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面。
  2. 左边菜单栏中选择所需修改的角色所对应的日志菜单。
  3. 选择所需修改的日志级别。
  4. 保存配置,在弹出窗口中单击“确定”使配置生效。

    配置完成后立即生效,不需要重启服务。

日志格式

HDFS的日志格式如下所示:

表3 日志格式

日志类型

格式

示例

运行日志

<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置>

2015-01-26 18:43:42,840 | INFO | IPC Server handler 40 on 8020 | Rolling edit logs | org.apache.hadoop.hdfs.server.namenode.FSEditLog.rollEditLog(FSEditLog.java:1096)

审计日志

<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置>

2015-01-26 18:44:42,607 | INFO | IPC Server handler 32 on 8020 | allowed=true ugi=hbase (auth:SIMPLE) ip=/10.177.112.145 cmd=getfileinfo src=/hbase/WALs/hghoulaslx410,16020,1421743096083/hghoulaslx410%2C16020%2C1421743096083.1422268722795 dst=null perm=null | org.apache.hadoop.hdfs.server.namenode.FSNamesystem$DefaultAuditLogger.logAuditMessage(FSNamesystem.java:7950)