Yarn日志介绍
日志描述
Yarn相关日志的默认存储路径如下：
- ResourceManager：“/var/log/Bigdata/yarn/rm”（运行日志），“/var/log/Bigdata/audit/yarn/rm”（审计日志）
- NodeManager：“/var/log/Bigdata/yarn/nm”（运行日志），“/var/log/Bigdata/audit/yarn/nm”（审计日志）
日志归档规则：Yarn的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过50MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的100个压缩文件，压缩文件保留个数可以在Manager界面中配置。
日志归档规则：
|
日志类型 |
日志文件名 |
描述 |
|---|---|---|
|
运行日志 |
hadoop-<SSH_USER>-<process_name>-<hostname>.log |
Yarn组件日志，记录Yarn组件运行时候所产生的大部分日志。 |
|
hadoop-<SSH_USER>-<process_name>-<hostname>.out |
Yarn运行环境信息日志。 |
|
|
<process_name>-<SSH_USER>-<DATE>-<PID>-gc.log |
垃圾回收日志。 |
|
|
yarn-haCheck.log |
ResourceManager主备状态检测日志。 |
|
|
yarn-service-check.log |
Yarn服务健康状态检查日志。 |
|
|
yarn-start-stop.log |
Yarn服务启停操作日志。 |
|
|
yarn-prestart.log |
Yarn服务启动前集群操作的记录日志。 |
|
|
yarn-postinstall.log |
Yarn服务安装后启动前的工作日志。 |
|
|
hadoop-commission.log |
Yarn入服日志。 |
|
|
yarn-cleanup.log |
Yarn服务卸载时候的清理日志。 |
|
|
yarn-refreshqueue.log |
Yarn刷新队列日志。 |
|
|
upgradeDetail.log |
升级日志记录。 |
|
|
stderr/stdin/syslog |
Yarn服务上运行的应用所对应的container日志。 |
|
|
yarn-application-check.log |
Yarn服务上运行的应用检查日志。 |
|
|
yarn-appsummary.log |
Yarn服务上运行的应用的运行结果日志。 |
|
|
yarn-switch-resourcemanager.log |
Yarn主备倒换运行日志。 |
|
|
ranger-yarn-plugin-enable.log |
Yarn启用Ranger鉴权的日志。 |
|
|
yarn-nodemanager-period-check.log |
Yarn nodemanager的周期检查日志。 |
|
|
yarn-resourcemanager-period-check.log |
Yarn resourcemanager的周期检查日志。 |
|
|
hadoop.log |
Hadoop的客户端日志。 |
|
|
env.log |
实例启停前的环境信息日志。 |
|
|
审计日志 |
yarn-audit-<process_name>.log ranger-plugin-audit.log |
Yarn操作审计日志。 |
|
SecurityAuth.audit |
Yarn安全审计日志。 |
日志级别
Yarn中提供了如表2所示的日志级别。其中日志级别优先级从高到低分别是OFF、FATAL、ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。
|
级别 |
描述 |
|---|---|
|
FATAL |
FATAL表示当前事件处理存在严重错误信息。 |
|
ERROR |
ERROR表示当前事件处理存在错误信息。 |
|
WARN |
WARN表示当前事件处理存在异常告警信息。 |
|
INFO |
INFO表示记录系统及各事件正常运行状态信息。 |
|
DEBUG |
DEBUG表示记录系统及系统的调试信息。 |
如果您需要修改日志级别，请执行如下操作：
- 参考修改集群服务配置参数，进入Yarn服务“全部配置”页面。
- 在左边菜单栏中选择所需修改的角色所对应的日志菜单。
- 选择所需修改的日志级别。
- 单击“保存配置”，在弹出窗口中单击“确定”使配置生效。
配置完成后立即生效，不需要重启服务。
日志格式
Yarn的日志格式如下所示：
|
日志类型 |
格式 |
示例 |
|---|---|---|
|
运行日志 |
<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> |
2021-09-26 14:18:59,109 | INFO | main | Client environment:java.compiler=<NA> | org.apache.zookeeper.Environment.logEnv(Environment.java:100) |
|
审计日志 |
<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> |
2021-09-26 14:24:43,605 | INFO | main-EventThread | USER=omm OPERATION=refreshAdminAcls TARGET=AdminService RESULT=SUCCESS | org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger$LogLevel$6.printLog(RMAuditLogger.java:91) |
