更新时间:2022-09-30 GMT+08:00

Loader日志介绍

日志描述

日志存储路径:Loader相关日志的默认存储路径为“/var/log/Bigdata/loader/日志分类”。

  • runlog:“/var/log/Bigdata/loader/runlog”(运行日志)
  • scriptlog:“/var/log/Bigdata/loader/scriptlog/”(脚本的执行日志)
  • catalina:“/var/log/Bigdata/loader/catalina”(tomcat的启停日志)
  • audit: “/var/log/Bigdata/loader/audit”(审计日志)

日志归档规则

Loader的运行日志和审计日志,启动了自动压缩归档功能,默认情况下,当日志大小超过10MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。

表1 Loader日志列表

日志类型

日志文件名

描述

运行日志

loader.log

Loader运行日志,记录Loader系统运行时候所产生的大部分日志。

loader-omm-***-pid***-gc.log.*.current

Loader进程gc日志

sqoopInstanceCheck.log

Loader实例健康检查日志

审计日志

default.audit

Loader操作审计日志(例如:作业的增删改查、用户的登录)。

tomcat日志

catalina.out

tomcat的运行日志

catalina. <yyyy-mm-dd >.log

tomcat的运行日志

host-manager. <yyyy-mm-dd >.log

tomcat的运行日志

localhost_access_log. <yyyy-mm-dd >.txt

tomcat的运行日志

manager <yyyy-mm-dd >.log

tomcat的运行日志

localhost. <yyyy-mm-dd >.log

tomcat的运行日志

脚本日志

postInstall.log

Loader安装脚本日志。

执行loader安装脚本(postInstall.sh)时产生的日志。

preStart.log

Loader服务的预启动脚本日志。Loader服务启动时,需要先执行一系列的准备操作(preStart.sh),例如生成keytab文件等,该日志正是记录了这些操作信息。

loader_ctl.log

Loader执行服务启停脚本(sqoop.sh)的日志。

日志级别

Loader中提供了如表2所示的日志级别,日志级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。

表2 日志级别

级别

描述

ERROR

ERROR表示错误日志输出。

WARN

WARN表示当前事件处理存在异常信息。

INFO

INFO表示系统及各事件正常运行状态信息。

DEBUG

DEBUG表示系统及系统调试信息。

如果您需要修改日志级别,请执行如下操作:

  1. 请参考修改集群服务配置参数,进入Loader的“全部配置”页面。
  2. 左边菜单栏中选择所需修改的角色所对应的日志菜单。
  3. 选择所需修改的日志级别。
  4. 保存配置,在弹出窗口中单击“确定”,完成后重启服务使配置生效。

日志格式

Loader的日志格式如下所示:

表3 日志格式

日志类型

格式

示例

运行日志

<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置>

2015-06-29 14:54:35,553 | INFO | [localhost-startStop-1] | ConnectionRequestHandler initialized | org.apache.sqoop.handler.ConnectionRequestHandler.<init>(ConnectionRequestHandler.java:100)

审计日志

<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|default|<log中的message>|<日志事件的发生位置>

2015-06-29 15:35:40,969 INFO default: UserName=admin, UserIP=10.52.0.111, Time=2015-06-29 15:35:40,969, Operation=submit, Resource=submission@21, Result=Failure, Detail={[reason:GET_SFTP_SESSION_FAILED:Failed to get sftp session - 10.162.0.35 (caused by: Auth cancel) ];[config:null]}