更新时间:2024-05-28 GMT+08:00

CDL日志介绍

日志描述

日志路径:CDL默认的日志存储路径为“/var/log/Bigdata/cdl/角色名简写”。

  • CDLService:“/var/log/Bigdata/cdl/service”(运行日志),“/var/log/Bigdata/audit/cdl/service”(审计日志)。
  • CDLConnector:“/var/log/Bigdata/cdl/connector”(运行日志)。

日志归档规则:CDL日志启动了自动压缩归档功能,缺省情况下,当日志大小超过50MB的时候,会自动压缩,压缩后的日志文件名规则为:“<原有日志名>.<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。

表1 日志介绍

日志类型

日志文件

日志描述

运行日志

connect.log

CDLConnector的运行日志。

prestartDetail.log

服务启动前初始化集群的日志。

startDetail.log

启动服务的日志。

stopDetail.log

停止服务的日志。

cleanupDetail.log

服务执行cleanup的日志。

check-serviceDetail.log

服务安装完成之后验证服务状态的。

cdl-db-operation.log

服务启动时初始化数据库的日志。

cdl-app-launcher.log

CDL数据同步任务的Spark App启动日志。

cdl-dc-app-launcher.log

CDL数据比对任务的Spark App启动日志。

serviceInstanceCheck.log

CDLService的实例检查日志。

connectorInstanceCheck.log

CDLConnector的实例检查日志。

ModifyDBPasswd.log

重置服务数据库密码的日志。

ranger-cdl-plugin-enable.log

服务启用或停用Ranger鉴权的日志。

postinstallDetail.log

服务安装日志。

cdl_connector_pidxxx_gc.log.x

CDLConnector的GC日志。

cdl_service_pidxxx_gc.log.x

CDLService的GC日志。

threadDump-CDLConnector-xxx.log

CDLConnector的堆栈日志。

threadDump-CDLService-xxx.log

CDLService的堆栈日志。

审计日志

cdl-audit.log

服务的审计日志。

日志级别

CDL提供了如表2所示的日志级别。

运行日志的级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。

表2 日志级别

日志类型

级别

描述

运行日志&审计日志

FATAL

fatal表示系统的致命错误

ERROR

error表示系统运行的错误信息。

WARN

warning表示当前事件处理存在异常信息。

INFO

information表示记录系统及各事件正常运行状态信息。

DEBUG

debug表示记录系统及系统的调试信息。

如果您需要修改日志级别,请执行如下操作:

  1. 请参考修改集群服务配置参数,进入CDL的“全部配置”页面。
  2. 左边菜单栏中选择所需修改的角色所对应的日志菜单。
  3. 选择所需修改的日志级别。
  4. 保存配置,在弹出窗口中单击“确定”使配置生效。

    配置完成后立即生效,不需要重启服务。

日志格式

CDL的日志格式如下所示:

表3 日志格式

日志类型

格式

示例

运行日志

<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置>

2021-06-15 17:25:19,658 | DEBUG | qtp2009591182-1754 | >fill SslConnection@5d04c5a0SocketChannelEndPoint@7c011c24{l=/10.244.224.65:21495,r=/10.244.224.83:53724,OPEN,fill=-,flush=-,to=1/30000}{io=0/0,kio=0,kro=1}->SslConnection@5d04c5a0{NOT_HANDSHAKING,eio=-1/-1,di=-1,fill=IDLE,flush=IDLE}~>DecryptedEndPoint@771f2f77{l=/10.244.224.65:21495,r=/10.244.224.83:53724,OPEN,fill=-,flush=-,to=19398/30000}=>HttpConnection@68c5859b[p=HttpParser{s=CONTENT,0 of -1},g=HttpGenerator@536e2de0{s=END}]=>HttpChannelOverHttp@7bf252bd{s=HttpChannelState@38be31e{s=IDLE rs=COMPLETED os=COMPLETED is=IDLE awp=false se=false i=false al=0},r=1,c=true/true,a=IDLE,uri=https://10.244.224.65:21495/api/v1/cdl/monitor/jobs/metrics,age=19382} | SslConnection.java:614

审计日志

<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置>

2021-06-15 11:07:00,262 | INFO | qtp1846345504-30 | STARTTIME=2021-06-15 11:06:47.912 ENDTIME=2021-06-15 11:07:00.261 USERIP=10.144.116.198 USER=CDL User INSTANCE=10-244-224-65 OPERATION=Start CDL Job TARGET=CDCJobExecutionResource RESULT=SUCCESS | CDCAuditLogger.java:93