HDFS日志介绍
日志描述
日志存储路径：HDFS相关日志的默认存储路径为“/var/log/Bigdata/hdfs/角色名”
- NameNode：“/var/log/Bigdata/hdfs/nn”（运行日志），“/var/log/Bigdata/audit/hdfs/nn”（审计日志）。
- DataNode：“/var/log/Bigdata/hdfs/dn”（运行日志），“/var/log/Bigdata/audit/hdfs/dn”（审计日志）。
- ZKFC：“/var/log/Bigdata/hdfs/zkfc”（运行日志），“/var/log/Bigdata/audit/hdfs/zkfc”（审计日志）。
- JournalNode：“/var/log/Bigdata/hdfs/jn”（运行日志），“/var/log/Bigdata/audit/hdfs/jn”（审计日志）。
- Router：“/var/log/Bigdata/hdfs/router”（运行日志），“/var/log/Bigdata/audit/hdfs/router”（审计日志）。
- HttpFS：“/var/log/Bigdata/hdfs/httpfs”（运行日志），“/var/log/Bigdata/audit/hdfs/httpfs”（审计日志）。
日志归档规则：HDFS的日志启动了自动压缩归档功能，默认情况下，当日志大小超过100MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件，压缩文件保留个数可以在Manager界面中配置。
|
日志类型 |
日志文件名 |
描述 |
|---|---|---|
|
运行日志 |
hadoop-<SSH_USER>-<process_name>-<hostname>.log |
HDFS系统日志，记录HDFS系统运行时候所产生的大部分日志。 |
|
hadoop-<SSH_USER>-<process_name>-<hostname>.out |
HDFS运行环境信息日志。 |
|
|
hadoop.log |
Hadoop客户端操作日志。 |
|
|
hdfs-period-check.log |
周期运行的脚本的日志记录。包括：自动均衡、数据迁移、journalnode数据同步检测等。 |
|
|
<process_name>-<SSH_USER>-<DATE>-<PID>-gc.log |
垃圾回收日志。 |
|
|
postinstallDetail.log |
HDFS服务安装后启动前工作日志。 |
|
|
hdfs-service-check.log |
HDFS服务启动是否成功的检查日志。 |
|
|
hdfs-set-storage-policy.log |
HDFS数据存储策略日志。 |
|
|
cleanupDetail.log |
HDFS服务卸载时候的清理日志。 |
|
|
prestartDetail.log |
HDFS服务启动前集群操作的记录日志。 |
|
|
hdfs-recover-fsimage.log |
NameNode元数据恢复日志。 |
|
|
datanode-disk-check.log |
集群安装过程和使用过程中磁盘状态检测的记录日志。 |
|
|
hdfs-availability-check.log |
HDFS服务是否可用日志。 |
|
|
hdfs-backup-fsimage.log |
NameNode元数据备份日志。 |
|
|
startDetail.log |
hdfs服务启动的详细日志。 |
|
|
hdfs-blockplacement.log |
HDFS块放置策略记录日志。 |
|
|
upgradeDetail.log |
升级日志。 |
|
|
hdfs-clean-acls-java.log |
HDFS清除已删除角色的ACL信息的日志。 |
|
|
hdfs-haCheck.log |
NameNode主备状态获取脚本运行日志。 |
|
|
<process_name>-jvmpause.log |
进程运行中，记录JVM停顿的日志。 |
|
|
hadoop-<SSH_USER>-balancer-<hostname>.log |
HDFS自动均衡的运行日志。 |
|
|
hadoop-<SSH_USER>-balancer-<hostname>.out |
HDFS运行自动均衡的环境信息日志。 |
|
|
hdfs-switch-namenode.log |
HDFS主备倒换运行日志 |
|
|
hdfs-router-admin.log |
管理挂载表操作的运行日志 |
|
|
Tomcat日志 |
hadoop-omm-host1.out，httpfs-catalina.<DATE>.log，httpfs-host-manager.<DATE>.log，httpfs-localhost.<DATE>.log，httpfs-manager.<DATE>.log，localhost_access_web_log.log |
tomcat运行日志 |
|
审计日志 |
hdfs-audit-<process_name>.log ranger-plugin-audit.log |
HDFS操作审计日志（例如：文件增删改查）。 |
|
SecurityAuth.audit |
HDFS安全审计日志。 |
日志级别
HDFS中提供了如表2所示的日志级别，日志级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。
|
级别 |
描述 |
|---|---|
|
FATAL |
FATAL表示系统运行的致命错误信息。 |
|
ERROR |
ERROR表示系统运行的错误信息。 |
|
WARN |
WARN表示当前事件处理存在异常信息。 |
|
INFO |
INFO表示系统及各事件正常运行状态信息。 |
|
DEBUG |
DEBUG表示系统及系统调试信息。 |
如果您需要修改日志级别，请执行如下操作：
- 请参考修改集群服务配置参数，进入HDFS的“全部配置”页面。
- 左边菜单栏中选择所需修改的角色所对应的日志菜单。
- 选择所需修改的日志级别。
- 保存配置，在弹出窗口中单击“确定”使配置生效。
配置完成后立即生效，不需要重启服务。
日志格式
HDFS的日志格式如下所示：
|
日志类型 |
格式 |
示例 |
|---|---|---|
|
运行日志 |
<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> |
2015-01-26 18:43:42,840 | INFO | IPC Server handler 40 on 8020 | Rolling edit logs | org.apache.hadoop.hdfs.server.namenode.FSEditLog.rollEditLog(FSEditLog.java:1096) |
|
审计日志 |
<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> |
2015-01-26 18:44:42,607 | INFO | IPC Server handler 32 on 8020 | allowed=true ugi=hbase (auth:SIMPLE) ip=/10.177.112.145 cmd=getfileinfo src=/hbase/WALs/hghoulaslx410,16020,1421743096083/hghoulaslx410%2C16020%2C1421743096083.1422268722795 dst=null perm=null | org.apache.hadoop.hdfs.server.namenode.FSNamesystem$DefaultAuditLogger.logAuditMessage(FSNamesystem.java:7950) |
