更新时间:2024-07-24 GMT+08:00

Yarn日志介绍

日志描述

Yarn相关日志的默认存储路径如下:

  • ResourceManager:“/var/log/Bigdata/yarn/rm”(运行日志),“/var/log/Bigdata/audit/yarn/rm”(审计日志)
  • NodeManager:“/var/log/Bigdata/yarn/nm”(运行日志),“/var/log/Bigdata/audit/yarn/nm”(审计日志)

日志归档规则:Yarn的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过50MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件,压缩文件保留个数可以在Manager界面中配置。

日志归档规则

表1 Yarn日志列表

日志类型

日志文件名

描述

运行日志

hadoop-<SSH_USER>-<process_name>-<hostname>.log

Yarn组件日志,记录Yarn组件运行时候所产生的大部分日志。

hadoop-<SSH_USER>-<process_name>-<hostname>.out

Yarn运行环境信息日志。

<process_name>-<SSH_USER>-<DATE>-<PID>-gc.log

垃圾回收日志。

yarn-haCheck.log

ResourceManager主备状态检测日志。

yarn-service-check.log

Yarn服务健康状态检查日志。

yarn-start-stop.log

Yarn服务启停操作日志。

yarn-prestart.log

Yarn服务启动前集群操作的记录日志。

yarn-postinstall.log

Yarn服务安装后启动前的工作日志。

hadoop-commission.log

Yarn入服日志。

yarn-cleanup.log

Yarn服务卸载时候的清理日志。

yarn-refreshqueue.log

Yarn刷新队列日志。

upgradeDetail.log

升级日志记录。

stderr/stdin/syslog

Yarn服务上运行的应用所对应的container日志。

yarn-application-check.log

Yarn服务上运行的应用检查日志。

yarn-appsummary.log

Yarn服务上运行的应用的运行结果日志。

yarn-switch-resourcemanager.log

Yarn主备倒换运行日志。

ranger-yarn-plugin-enable.log

Yarn启用Ranger鉴权的日志

yarn-nodemanager-period-check.log

Yarn nodemanager的周期检查日志

yarn-resourcemanager-period-check.log

Yarn resourcemanager的周期检查日志

hadoop.log

Hadoop的客户端日志

env.log

实例启停前的环境信息日志。

审计日志

yarn-audit-<process_name>.log

ranger-plugin-audit.log

Yarn操作审计日志。

SecurityAuth.audit

Yarn安全审计日志。

日志级别

Yarn中提供了如表2所示的日志级别。其中日志级别优先级从高到低分别是OFF、FATAL、ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。

表2 日志级别

级别

描述

FATAL

FATAL表示当前事件处理存在严重错误信息。

ERROR

ERROR表示当前事件处理存在错误信息。

WARN

WARN表示当前事件处理存在异常告警信息。

INFO

INFO表示记录系统及各事件正常运行状态信息

DEBUG

DEBUG表示记录系统及系统的调试信息

如果您需要修改日志级别,请执行如下操作:

  1. 参考修改集群服务配置参数,进入Yarn服务“全部配置”页面。
  2. 在左边菜单栏中选择所需修改的角色所对应的日志菜单。
  3. 选择所需修改的日志级别。
  4. 单击“保存配置”,在弹出窗口中单击“确定”使配置生效。

    配置完成后立即生效,不需要重启服务。

日志格式

Yarn的日志格式如下所示:

表3 日志格式

日志类型

格式

示例

运行日志

<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置>

2014-09-26 14:18:59,109 | INFO | main | Client environment:java.compiler=<NA> | org.apache.zookeeper.Environment.logEnv(Environment.java:100)

审计日志

<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置>

2014-09-26 14:24:43,605 | INFO | main-EventThread | USER=omm OPERATION=refreshAdminAcls TARGET=AdminService RESULT=SUCCESS | org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger$LogLevel$6.printLog(RMAuditLogger.java:91)