Doris日志介绍
日志描述
日志路径：Doris相关日志的默认存储路径为“/var/log/Bigdata/doris/角色名”。
- FE：“/var/log/Bigdata/doris/fe”（运行日志），“/var/log/Bigdata/audit/doris/fe”（审计日志）。
- BE：“/var/log/Bigdata/doris/be”（运行日志）。
- DBroker：“/var/log/Bigdata/doris/dbroker”（运行日志）。
日志归档规则：Doris的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过指定大小的时候（此日志文件大小可进行配置），会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。
|
日志类型 |
日志文件名 |
描述 |
|---|---|---|
|
运行日志 |
/fe/fe.out |
标准/错误输出的日志（stdout和stderr） |
|
/fe/fe.log |
主日志，包括除fe.out外的所有内容 |
|
|
/fe/fe.warn.log |
“fe.log”的子集，仅记录级别为WARN和ERROR的日志 |
|
|
/fe/fe-omm-<日期>-<PID>-gc.log.<编号> |
FE进程的GC日志 |
|
|
/fe/preStart.log |
FE启动前的工作日志 |
|
|
/fe/check_fe_status.log.log |
FE服务启动是否成功的检查日志 |
|
|
/fe/cleanup.log |
FE卸载的清理日志 |
|
|
/fe/start_fe.log |
FE进程启动日志 |
|
|
/fe/stop_fe.log |
FE进程停止日志 |
|
|
/fe/postinstallDetail.log |
FE安装后启动前的工作日志 |
|
|
/be/be.INFO |
BE进程的运行日志 |
|
|
be.WARNING |
“be.log”的子集，仅记录级别为WARN和FATAL的日志 |
|
|
/be/be-omm-<日期>-<PID>-gc.log.<编号> |
BE进程的GC日志 |
|
|
/be/postinstallDetail.log |
BE安装后启动前的工作日志 |
|
|
/be/preStart.log |
BE启动前的工作日志 |
|
|
/be/cleanup.log |
BE卸载的清理日志 |
|
|
/be/start_be.log |
BE进程启动日志 |
|
|
/be/stop_be.log |
BE进程停止日志 |
|
|
/be/check_be_status.log |
BE服务启动是否成功的检查日志 |
|
|
/be/be.out |
BE进程标准/错误输出的日志（stdout和stderr） |
|
|
/dbroker/start_broker.log |
DBroker进程启停正常日志 |
|
|
/dbroker/stop_broker.log |
DBroker进程启停异常日志 |
|
|
/dbroker/preStart.log |
DBroker启动前的工作日志 |
|
|
/dbroker/cleanup.log |
DBroker卸载时或安装前的清理日志 |
|
|
/dbroker/check_db_status.log |
DBroker服务启动是否成功的检查日志 |
|
|
/dbroker/dbroker-omm-<日期>-<PID>-gc.log.<编号> |
DBroker进程的GC日志 |
|
|
/dbroker/apache_hdfs_broker.log |
DBroker进程的运行日志 |
|
|
审计日志 |
fe.audit.log |
审计日志，记录FE接收的所有SQL请求 |
日志级别
Doris提供了如表2所示的日志级别。
运行日志的级别优先级从高到低分别是FATAL、ERROR、WARN、INFO，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。
|
级别 |
描述 |
|---|---|
|
FATAL |
FATAL通常表示程序断言错误。 |
|
ERROR |
ERROR表示系统运行的错误信息。 |
|
WARN |
WARN表示当前事件处理存在异常信息。 |
|
INFO |
INFO表示记录系统及各事件正常运行状态信息。 |
如果您需要修改日志级别，请执行如下操作：
- 登录FusionInsight Manager界面，选择“集群 > 服务 > Doris > 配置 > 全部配置”，进入Doris服务的全部配置页面。
- 左边菜单栏中选择所需修改的角色所对应的日志菜单。
- 选择所需修改的日志级别并保存。
配置Doris日志级别后可立即生效，无需重启服务。
日志格式
Doris的日志格式如下所示：
|
日志类型 |
格式 |
示例 |
|---|---|---|
|
FE运行日志 |
<yyyy-MM-dd HH:mm:ss,SSS><LogLevel> (线程名称|线程ID) <日志事件的发生位置>|<log中的message> |
2023-04-13 11:17:14,371 INFO (tablet stat mgr|34) [TabletStatMgr.runAfterCatalogReady():125] finished to update index row num of all databases. cost: 0 ms |
|
BE运行日志 |
<日志等级，I表示INFO，W表示WARN，F表示FATAL|MMdd HH:mm:ss.SSS> <线程ID> <日志事件的发生位置> <log中的message> |
I0413 11:26:03.439189 25248 tablet_manager.cpp:895] begin to build all report tablets info |
|
DBroker运行日志 |
<MMdd HH:mm:ss.SSS> <线程ID> <LogLevel><log中的message> |
2023-04-11 11:43:13 [ main:0 ] - [ INFO ] starting apache hdfs broker.... |
|
审计日志 |
<yyyy-MM-dd HH:mm:ss,SSS [操作类型]>|<Client>|<User Name>|<Db Name>|<State>|<ErrorCode>|<ErrorMessage>|<Time>|<ScanBytes>|<ScanRows>|<ReturnRows>|<StmtId>|<QueryId>|<IsQuery>|<feIp>| <Stmt>|<CpuTimeMS>|<SqlHash>|<peakMemoryBytes>|<SqlDigest>|<TraceId>|<FuzzyVariables> |
2023-04-13 10:49:26,410 [query] |Client=192.168.64.223:44382|User=root|Db=hivedoris|State=ERR|ErrorCode=1105|ErrorMessage=errCode = 2, detailMessage = (192.168.64.78)[INTERNAL_ERROR]failed to init reader for file /user/hive/warehouse/hivedoris.db/test/000000_0, err: [INTERNAL_ERROR]connect to hdfs failed. error: (255), Unknown error 255), reason: NullPointerException: |Time=67|ScanBytes=0|ScanRows=0|ReturnRows=0|StmtId=91|QueryId=e1125283f12c4994-a69e3a323044d681|IsQuery=true|feIp=192.168.64.78|Stmt=select * from test|CpuTimeMS=0|SqlHash=3bbc220823c3e757002fb9490196cf84|peakMemoryBytes=0|SqlDigest=|TraceId=|FuzzyVariables= |
