更新时间:2024-07-02 GMT+08:00
分享

Doris日志介绍

日志描述

日志路径:Doris相关日志的默认存储路径为“/var/log/Bigdata/doris/角色名”。

  • FE:“/var/log/Bigdata/doris/fe”(运行日志),“/var/log/Bigdata/audit/doris/fe”(审计日志)。
  • BE:“/var/log/Bigdata/doris/be”(运行日志)。
  • DBroker:“/var/log/Bigdata/doris/dbroker”(运行日志)。

日志归档规则:Doris的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过指定大小的时候(此日志文件大小可进行配置),会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。

表1 Hive日志列表

日志类型

日志文件名

描述

运行日志

/fe/fe.out

标准/错误输出的日志(stdout和stderr)

/fe/fe.log

主日志,包括除fe.out外的所有内容

/fe/fe.warn.log

“fe.log”的子集,仅记录级别为WARN和ERROR的日志

/fe/fe-omm-<日期>-<PID>-gc.log.<编号>

FE进程的GC日志

/fe/preStart.log

FE启动前的工作日志

/fe/check_fe_status.log.log

FE服务启动是否成功的检查日志

/fe/cleanup.log

FE卸载的清理日志

/fe/start_fe.log

FE进程启动日志

/fe/stop_fe.log

FE进程停止日志

/fe/postinstallDetail.log

FE安装后启动前的工作日志

/be/be.INFO

BE进程的运行日志

be.WARNING

“be.log”的子集,仅记录级别为WARN和FATAL的日志

/be/be-omm-<日期>-<PID>-gc.log.<编号>

BE进程的GC日志

/be/postinstallDetail.log

BE安装后启动前的工作日志

/be/preStart.log

BE启动前的工作日志

/be/cleanup.log

BE卸载的清理日志

/be/start_be.log

BE进程启动日志

/be/stop_be.log

BE进程停止日志

/be/check_be_status.log

BE服务启动是否成功的检查日志

/be/be.out

BE进程标准/错误输出的日志(stdout和stderr)

/dbroker/start_broker.log

DBroker进程启停正常日志

/dbroker/stop_broker.log

DBroker进程启停异常日志

/dbroker/preStart.log

DBroker启动前的工作日志

/dbroker/cleanup.log

DBroker卸载时或安装前的清理日志

/dbroker/check_db_status.log

DBroker服务启动是否成功的检查日志

/dbroker/dbroker-omm-<日期>-<PID>-gc.log.<编号>

DBroker进程的GC日志

/dbroker/apache_hdfs_broker.log

DBroker进程的运行日志

审计日志

fe.audit.log

审计日志,记录FE接收的所有SQL请求

日志级别

Doris提供了如表2所示的日志级别。

运行日志的级别优先级从高到低分别是FATAL、ERROR、WARN、INFO,程序会打印高于或等于所设置级别的日志,设置的日志等级越高,打印出来的日志就越少。

表2 日志级别

级别

描述

FATAL

FATAL通常表示程序断言错误。

ERROR

ERROR表示系统运行的错误信息。

WARN

WARN表示当前事件处理存在异常信息。

INFO

INFO表示记录系统及各事件正常运行状态信息。

如果您需要修改日志级别,请执行如下操作:

  1. 登录FusionInsight Manager界面,选择“集群 > 服务 > Doris > 配置 > 全部配置”,进入Doris服务的全部配置页面。
  2. 左边菜单栏中选择所需修改的角色所对应的日志菜单。
  3. 选择所需修改的日志级别并保存。
  4. 单击“概览”,选择“更多 > 重启服务”,输入当前用户密码重启Doris服务。

日志格式

Doris的日志格式如下所示:

表3 日志格式

日志类型

格式

示例

FE运行日志

<yyyy-MM-dd HH:mm:ss,SSS><LogLevel> (线程名称|线程ID) <日志事件的发生位置>|<log中的message>

2023-04-13 11:17:14,371 INFO (tablet stat mgr|34) [TabletStatMgr.runAfterCatalogReady():125] finished to update index row num of all databases. cost: 0 ms

BE运行日志

<日志等级,I表示INFO,W表示WARN,F表示FATAL|MMdd HH:mm:ss.SSS> <线程ID> <日志事件的发生位置> <log中的message>

I0413 11:26:03.439189 25248 tablet_manager.cpp:895] begin to build all report tablets info

DBroker运行日志

<MMdd HH:mm:ss.SSS> <线程ID> <LogLevel><log中的message>

2023-04-11 11:43:13 [ main:0 ] - [ INFO ] starting apache hdfs broker....

审计日志

<yyyy-MM-dd HH:mm:ss,SSS [操作类型]>|<Client>|<User Name>|<Db Name>|<State>|<ErrorCode>|<ErrorMessage>|<Time>|<ScanBytes>|<ScanRows>|<ReturnRows>|<StmtId>|<QueryId>|<IsQuery>|<feIp>|

<Stmt>|<CpuTimeMS>|<SqlHash>|<peakMemoryBytes>|<SqlDigest>|<TraceId>|<FuzzyVariables>

2023-04-13 10:49:26,410 [query] |Client=192.168.64.223:44382|User=root|Db=hivedoris|State=ERR|ErrorCode=1105|ErrorMessage=errCode = 2, detailMessage = (192.168.64.78)[INTERNAL_ERROR]failed to init reader for file /user/hive/warehouse/hivedoris.db/test/000000_0, err: [INTERNAL_ERROR]connect to hdfs failed. error: (255), Unknown error 255), reason: NullPointerException: |Time=67|ScanBytes=0|ScanRows=0|ReturnRows=0|StmtId=91|QueryId=e1125283f12c4994-a69e3a323044d681|IsQuery=true|feIp=192.168.64.78|Stmt=select * from test|CpuTimeMS=0|SqlHash=3bbc220823c3e757002fb9490196cf84|peakMemoryBytes=0|SqlDigest=|TraceId=|FuzzyVariables=

相关文档