更新时间:2022-02-22 GMT+08:00

日志介绍

日志描述

日志路径:Tez相关日志的默认存储路径为“/var/log/Bigdata/tez/角色名”。

TezUI:“/var/log/Bigdata/tez/tezui”(运行日志),“/var/log/Bigdata/audit/tez/tezui”(审计日志)。

日志归档规则:Tez的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过20MB的时候(此日志文件大小可进行配置),会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。

表1 Tez日志列表

日志类型

日志文件名

描述

运行日志

tezui.out

TezUI运行环境信息日志

tezui.log

TezUI进程的运行日志

tezui-omm-<日期>-gc.log.<编号>

TezUI进程的GC日志

prestartDetail.log

TezUI启动前的工作日志

check-serviceDetail.log

TezUI服务启动是否成功的检查日志

postinstallDetail.log

TezUI安装后的工作日志

startDetail.log

TezUI进程启动日志

stopDetail.log

TezUI进程停止日志

审计日志

tezui-audit.log

TezUI审计日志

日志级别

TezUI提供了如表2所示的日志级别。

运行日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。

表2 日志级别

级别

描述

ERROR

ERROR表示系统运行的错误信息。

WARN

WARN表示当前事件处理存在异常信息。

INFO

INFO表示记录系统及各事件正常运行状态信息。

DEBUG

DEBUG表示记录系统及系统的调试信息。

如果您需要修改日志级别,请执行如下操作:

  1. 登录Manager。
  2. 选择“集群 > 服务 > Tez > 配置”。
  3. 选择“全部配置”。
  4. 左边菜单栏中选择“TezUI > 日志”。
  5. 选择所需修改的日志级别。
  6. 单击“保存”,在弹出窗口中单击“确定”保存配置。
  7. 单击“实例”,勾选“TezUI”角色,选择“更多 > 重启实例”,输入用户密码后,在弹出窗口单击“确定”。
  8. 等待实例重启完成,配置生效。

日志格式

Tez的日志格式如下所示:

表3 日志格式

日志类型

格式

示例

运行日志

<yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置>

2020-07-31 11:44:21,378 | INFO | TezUI-health-check | Start health check | com.XXX.tez.HealthCheck.run(HealthCheck.java:30)

审计日志

<yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字>|<User Name><User IP><Time><Operation><Resource><Result><Detail >|<日志事件的发生位置>

2018-12-24 12:16:25,319 | INFO | HiveServer2-Handler-Pool: Thread-185 | UserName=hive UserIP=10.153.2.204 Time=2018/12/24 12:16:25 Operation=CloseSession Result=SUCCESS Detail= | org.apache.hive.service.cli.thrift.ThriftCLIService.logAuditEvent(ThriftCLIService.java:434)