# HDFS日志介绍 #### 日志描述 **日志存储路径**：HDFS相关日志的默认存储路径为"/var/log/Bigdata/hdfs/角色名"。 - NameNode："/var/log/Bigdata/hdfs/nn"（运行日志），"/var/log/Bigdata/audit/hdfs/nn"（审计日志）。 - DataNode："/var/log/Bigdata/hdfs/dn"（运行日志），"/var/log/Bigdata/audit/hdfs/dn"（审计日志）。 - ZKFC："/var/log/Bigdata/hdfs/zkfc"（运行日志），"/var/log/Bigdata/audit/hdfs/zkfc"（审计日志）。 - JournalNode："/var/log/Bigdata/hdfs/jn"（运行日志），"/var/log/Bigdata/audit/hdfs/jn"（审计日志）。 - Router："/var/log/Bigdata/hdfs/router"（运行日志），"/var/log/Bigdata/audit/hdfs/router"（审计日志）。 - HttpFS："/var/log/Bigdata/hdfs/httpfs"（运行日志），"/var/log/Bigdata/audit/hdfs/httpfs"（审计日志）。 **日志归档规则：**HDFS的日志启动了自动压缩归档功能，默认情况下，当日志大小超过100MB的时候，会自动压缩，压缩后的日志文件名规则为："\<原有日志名\>-\.\[编号\].log.zip"。最多保留最近的100个压缩文件，压缩文件保留个数可以在Manager界面中配置。 表1HDFS日志列表 | 日志类型 | 日志文件名 | 描述 | |:---|:---|:---| | 运行日志 | hadoop-\-\-\.log | HDFS系统日志，记录HDFS系统运行时候所产生的大部分日志。 | | 运行日志 | hadoop-\-\-\.out | HDFS运行环境信息日志。 | | 运行日志 | hadoop.log | Hadoop客户端操作日志。 | | 运行日志 | hdfs-period-check.log | 周期运行的脚本的日志记录。包括：自动均衡、数据迁移、JournalNode数据同步检测等。 | | 运行日志 | \-\-\-\-gc.log | 垃圾回收日志。 | | 运行日志 | postinstallDetail.log | HDFS服务安装后启动前工作日志。 | | 运行日志 | hdfs-service-check.log | HDFS服务启动是否成功的检查日志。 | | 运行日志 | hdfs-set-storage-policy.log | HDFS数据存储策略日志。 | | 运行日志 | cleanupDetail.log | HDFS服务卸载时候的清理日志。 | | 运行日志 | prestartDetail.log | HDFS服务启动前集群操作的记录日志。 | | 运行日志 | hdfs-recover-fsimage.log | NameNode元数据恢复日志。 | | 运行日志 | datanode-disk-check.log | 集群安装过程和使用过程中磁盘状态检测的记录日志。 | | 运行日志 | hdfs-availability-check.log | HDFS服务是否可用日志。 | | 运行日志 | hdfs-backup-fsimage.log | NameNode元数据备份日志。 | | 运行日志 | startDetail.log | HDFS服务启动的详细日志。 | | 运行日志 | hdfs-blockplacement.log | HDFS块放置策略记录日志。 | | 运行日志 | upgradeDetail.log | 升级日志。 | | 运行日志 | hdfs-clean-acls-java.log | HDFS清除已删除角色的ACL信息的日志。 | | 运行日志 | hdfs-haCheck.log | NameNode主备状态获取脚本运行日志。 | | 运行日志 | \-jvmpause.log | 进程运行中，记录JVM停顿的日志。 | | 运行日志 | hadoop-\-balancer-\.log | HDFS自动均衡的运行日志。 | | 运行日志 | hadoop-\-balancer-\.out | HDFS运行自动均衡的环境信息日志。 | | 运行日志 | hdfs-switch-namenode.log | HDFS主备倒换运行日志。 | | 运行日志 | hdfs-router-admin.log | 管理挂载表操作的运行日志。 | | 运行日志 | threadDump-\.log | 实例进程堆栈日志。 | | Tomcat日志 | hadoop-omm-host1.out，httpfs-catalina.\.log，httpfs-host-manager.\.log，httpfs-localhost.\.log，httpfs-manager.\.log，localhost_access_web_log.log | Tomcat运行日志。 | | 审计日志 | hdfs-audit-\.log ranger-plugin-audit.log | HDFS操作审计日志（例如：文件增删改查）。 | | 审计日志 | SecurityAuth.audit | HDFS安全审计日志。 | #### 日志级别 HDFS中提供了如[表2]所示的日志级别，日志级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表2日志级别 | **级别** | **描述** | |:---|:---| | FATAL | FATAL表示系统运行的致命错误信息。 | | ERROR | ERROR表示系统运行的错误信息。 | | WARN | WARN表示当前事件处理存在异常信息。 | | INFO | INFO表示系统及各事件正常运行状态信息。 | | DEBUG | DEBUG表示系统及系统调试信息。 | 如果您需要修改日志级别，请执行如下操作： 1. 请参考[修改集群服务配置参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_2125.html)，进入HDFS的"全部配置"页面。 2. 左边菜单栏中选择所需修改的角色所对应的日志菜单。 3. 选择所需修改的日志级别。 4. 保存配置，在弹出窗口中单击"确定"使配置生效。 ![](https://support.huaweicloud.com/cmpntguide-mrs/public_sys-resources/note_3.0-zh-cn.png) 配置完成后立即生效，不需要重启服务。 #### 日志格式 HDFS的日志格式如下所示： 表3日志格式 | 日志类型 | 格式 | 示例 | |:---|:---|:---| | 运行日志 | \\|\\|\<产生该日志的线程名字\>\|\\|\<日志事件的发生位置\> | 20xx-01-26 18:43:42,840 \| INFO \| IPC Server handler 40 on 8020 \| Rolling edit logs \| org.apache.hadoop.hdfs.server.namenode.FSEditLog.rollEditLog(FSEditLog.java:1096) | | 审计日志 | \\|\\|\<产生该日志的线程名字\>\|\\|\<日志事件的发生位置\> | 20xx-01-26 18:44:42,607 \| INFO \| IPC Server handler 32 on 8020 \| allowed=true ugi=hbase (auth:SIMPLE) ip=/10.177.112.145 cmd=getfileinfo src=/hbase/WALs/hghoulaslx410,16020,1421743096083/hghoulaslx410%2C16020%2C1421743096083.1422268722795 dst=null perm=null \| org.apache.hadoop.hdfs.server.namenode.FSNamesystem$DefaultAuditLogger.logAuditMessage(FSNamesystem.java:7950) | #### 相关文档 - 如需在Manager在线检索HDFS或者其他组件日志，具体操作请参见[在线检索MRS集群日志](https://support.huaweicloud.com/usermanual-mrs/admin_guide_000074.html)。 - 如需批量导出各个服务角色所有实例生成的日志，具体操作请参见[下载MRS集群日志](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0267.html)。 - 如需查看组件各角色实例的日志内容并下载指定日志文件，具体操作请参见[查看MRS组件角色实例日志](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300080.html)。 - 如需采集指定角色或实例的堆栈信息，具体操作请参见[采集MRS集群服务堆栈信息](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300082.html)。