使用LTS配置Doris慢查询日志分析模板
此章节为您介绍日志分析最佳实践,通过对接LTS服务实现Doris增量慢查询日志分析。
操作流程:
准备工作
- 已注册华为账号并开通华为云,具体请参见注册华为账号并开通华为云,且在使用CloudTable前检查账号状态,账号不能处于欠费或冻结状态。
- 已创建虚拟私有云和子网,参见创建虚拟私有云和子网。
- 已创建Doris集群,并正常运行。
步骤一:开启云日志服务对接
- 进入表格存储服务控制台。
- 单击目标集群“集群名称 > 日志服务”,进入“日志服务”管理界面。
- 单击页面左上角“云日志服务对接”按钮,弹出“开启云日志服务”窗口。
- 单击“确定”,开启云服务日志对接。
- 如果首次开启,会弹出创建委托窗口,单击“确定”,进行授权委托。
- 若已开启过LTS云日志服务对接,并授权该服务创建委托,再次开启时则无需授权操作。
步骤二:配置Doris慢查询日志模板
- 在“日志服务”页面,选择目标日志“doris-fe-audit-query-xxxxxxx”单击操作列“查看日志”,进入“日志流”页面。
- 单击目标日志“日志设置”,进入设置页面。
图1 日志设置
- 方式一:使用已有模板,进入“云端结构化解析 ”页签配置参数。
- 日志结构化方式:结构化模式。
- 模板:系统模板,可选择“CloudTable Doris审计日志”。
- 方式二:配置新模板,进入“云端结构化解析 ”页签配置参数。
- 日志结构化方式:正则分析。
- 选择日志方式:已有日志中选择。单击“已有日志中选择”,弹出“选择原始日志”页面,选择日志后单击“确认”。
- 模式:自动生成模式。
- 字段配型:已提取字段。
- 选中示例中的字段,弹出“提取字段”窗口。
- 配置字段名称,单击“添加”,字段显示在已提取的字段列表中。
图2 提取字段
表1 提取字段 字段名称
来源
示例字段
LogTime
日志提取字段
2025-08-06 11:06:10,593
QueryType
日志提取字段
query
Client
日志提取字段
IP:Port
User
日志提取字段
doris_***
State
日志提取字段
ok
ErrorCode
日志提取字段
0
CostTime
日志提取字段
4
ScanBytes
日志提取字段
0
ScanRows
日志提取字段
0
ReturnRows
日志提取字段
0
Stmtld
日志提取字段
5137
Queryld
日志提取字段
f06dd***de4819-93a23e****ece96
IsQuery
日志提取字段
false
IsNereids
日志提取字段
false
Felp
日志提取字段
IP
Stmt
日志提取字段
admin show frontend config like 'experimental_enable_workload_group'
CpuTimeMS
日志提取字段
0
SqlHash
日志提取字段
dd***5b20ad74e***ecbe****
PeakMemoryBytes
日志提取字段
0
WorkloadGroup
日志提取字段
normal
- 开启“自定义日志时间”按钮,配置“字段key”、“时间格式”参数后,单击“校验”。
“时间格式”应该与表1 提取字段中“LogTime”格式保持一致,否则无法校验。
- 各参数配置完成,单击“保存”。
- 单击“索引配置”,进入索引配置页签。
- 字段索引选择“自动配置”,自动匹配,单击“确定”,日志模板配置完成。