CDL日志介绍
日志描述
日志路径：CDL默认的日志存储路径为“/var/log/Bigdata/cdl/角色名简写”。
- CDLService：“/var/log/Bigdata/cdl/service”（运行日志），“/var/log/Bigdata/audit/cdl/service”（审计日志）。
- CDLConnector：“/var/log/Bigdata/cdl/connector”（运行日志）。
日志归档规则：CDL日志启动了自动压缩归档功能，缺省情况下，当日志大小超过50MB的时候，会自动压缩，压缩后的日志文件名规则为：“<原有日志名>.<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。默认最多保留最近的20个压缩文件，压缩文件保留个数可以在Manager界面中配置。
|
日志类型 |
日志文件 |
日志描述 |
|---|---|---|
|
运行日志 |
connect.log |
CDLConnector的运行日志。 |
|
prestartDetail.log |
服务启动前初始化集群的日志。 |
|
|
startDetail.log |
启动服务的日志。 |
|
|
stopDetail.log |
停止服务的日志。 |
|
|
cleanupDetail.log |
服务执行cleanup的日志。 |
|
|
check-serviceDetail.log |
服务安装完成之后验证服务状态的。 |
|
|
cdl-db-operation.log |
服务启动时初始化数据库的日志。 |
|
|
cdl-app-launcher.log |
CDL数据同步任务的Spark App启动日志。 |
|
|
cdl-dc-app-launcher.log |
CDL数据比对任务的Spark App启动日志。 |
|
|
serviceInstanceCheck.log |
CDLService的实例检查日志。 |
|
|
connectorInstanceCheck.log |
CDLConnector的实例检查日志。 |
|
|
ModifyDBPasswd.log |
重置服务数据库密码的日志。 |
|
|
ranger-cdl-plugin-enable.log |
服务启用或停用Ranger鉴权的日志。 |
|
|
postinstallDetail.log |
服务安装日志。 |
|
|
cdl_connector_pidxxx_gc.log.x |
CDLConnector的GC日志。 |
|
|
cdl_service_pidxxx_gc.log.x |
CDLService的GC日志。 |
|
|
threadDump-CDLConnector-xxx.log |
CDLConnector的堆栈日志。 |
|
|
threadDump-CDLService-xxx.log |
CDLService的堆栈日志。 |
|
|
审计日志 |
cdl-audit.log |
服务的审计日志。 |
日志级别
CDL提供了如表2所示的日志级别。
运行日志的级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。
|
日志类型 |
级别 |
描述 |
|---|---|---|
|
运行日志&审计日志 |
FATAL |
fatal表示系统的致命错误 |
|
ERROR |
error表示系统运行的错误信息。 |
|
|
WARN |
warning表示当前事件处理存在异常信息。 |
|
|
INFO |
information表示记录系统及各事件正常运行状态信息。 |
|
|
DEBUG |
debug表示记录系统及系统的调试信息。 |
如果您需要修改日志级别，请执行如下操作：
- 请参考修改集群服务配置参数，进入CDL的“全部配置”页面。
- 左边菜单栏中选择所需修改的角色所对应的日志菜单。
- 选择所需修改的日志级别。
- 保存配置，在弹出窗口中单击“确定”使配置生效。
配置完成后立即生效，不需要重启服务。
日志格式
CDL的日志格式如下所示：
|
日志类型 |
格式 |
示例 |
|---|---|---|
|
运行日志 |
<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> |
2021-06-15 17:25:19,658 | DEBUG | qtp2009591182-1754 | >fill SslConnection@5d04c5a0SocketChannelEndPoint@7c011c24{l=/10.244.224.65:21495,r=/10.244.224.83:53724,OPEN,fill=-,flush=-,to=1/30000}{io=0/0,kio=0,kro=1}->SslConnection@5d04c5a0{NOT_HANDSHAKING,eio=-1/-1,di=-1,fill=IDLE,flush=IDLE}~>DecryptedEndPoint@771f2f77{l=/10.244.224.65:21495,r=/10.244.224.83:53724,OPEN,fill=-,flush=-,to=19398/30000}=>HttpConnection@68c5859b[p=HttpParser{s=CONTENT,0 of -1},g=HttpGenerator@536e2de0{s=END}]=>HttpChannelOverHttp@7bf252bd{s=HttpChannelState@38be31e{s=IDLE rs=COMPLETED os=COMPLETED is=IDLE awp=false se=false i=false al=0},r=1,c=true/true,a=IDLE,uri=https://10.244.224.65:21495/api/v1/cdl/monitor/jobs/metrics,age=19382} | SslConnection.java:614 |
|
审计日志 |
<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> |
2021-06-15 11:07:00,262 | INFO | qtp1846345504-30 | STARTTIME=2021-06-15 11:06:47.912 ENDTIME=2021-06-15 11:07:00.261 USERIP=10.144.116.198 USER=CDL User INSTANCE=10-244-224-65 OPERATION=Start CDL Job TARGET=CDCJobExecutionResource RESULT=SUCCESS | CDCAuditLogger.java:93 |
