文档首页/ 表格存储服务 CloudTable/ 最佳实践/ 集群运维/ 使用LTS配置Doris慢查询日志分析模板
更新时间:2025-08-14 GMT+08:00
分享

使用LTS配置Doris慢查询日志分析模板

此章节为您介绍日志分析最佳实践,通过对接LTS服务实现Doris增量慢查询日志分析。

操作流程:

准备工作

  • 已注册华为账号并开通华为云,具体请参见注册华为账号并开通华为云,且在使用CloudTable前检查账号状态,账号不能处于欠费或冻结状态。
  • 已创建虚拟私有云和子网,参见创建虚拟私有云和子网
  • 已创建Doris集群,并正常运行。

步骤一:开启云日志服务对接

  1. 进入表格存储服务控制台
  2. 单击目标集群“集群名称 > 日志服务”,进入“日志服务”管理界面。
  3. 单击页面左上角“云日志服务对接”按钮,弹出“开启云日志服务”窗口。
  4. 单击“确定”,开启云服务日志对接。
    1. 如果首次开启,会弹出创建委托窗口,单击“确定”,进行授权委托。
    2. 若已开启过LTS云日志服务对接,并授权该服务创建委托,再次开启时则无需授权操作。

步骤二:配置Doris慢查询日志模板

  1. 在“日志服务”页面,选择目标日志“doris-fe-audit-query-xxxxxxx”单击操作列“查看日志”,进入“日志流”页面。
  2. 单击目标日志“日志设置”,进入设置页面。
    图1 日志设置
  3. 方式一:使用已有模板,进入“云端结构化解析 ”页签配置参数。
    1. 日志结构化方式:结构化模式。
    2. 模板:系统模板,可选择“CloudTable Doris审计日志”。
  4. 方式二:配置新模板,进入“云端结构化解析 ”页签配置参数。
    1. 日志结构化方式:正则分析。
    2. 选择日志方式:已有日志中选择。单击“已有日志中选择”,弹出“选择原始日志”页面,选择日志后单击“确认”。
    3. 模式:自动生成模式。
    4. 字段配型:已提取字段。
      1. 选中示例中的字段,弹出“提取字段”窗口。
      2. 配置字段名称,单击“添加”,字段显示在已提取的字段列表中。
        图2 提取字段
      表1 提取字段

      字段名称

      来源

      示例字段

      LogTime

      日志提取字段

      2025-08-06 11:06:10,593

      QueryType

      日志提取字段

      query

      Client

      日志提取字段

      IP:Port

      User

      日志提取字段

      doris_***

      State

      日志提取字段

      ok

      ErrorCode

      日志提取字段

      0

      CostTime

      日志提取字段

      4

      ScanBytes

      日志提取字段

      0

      ScanRows

      日志提取字段

      0

      ReturnRows

      日志提取字段

      0

      Stmtld

      日志提取字段

      5137

      Queryld

      日志提取字段

      f06dd***de4819-93a23e****ece96

      IsQuery

      日志提取字段

      false

      IsNereids

      日志提取字段

      false

      Felp

      日志提取字段

      IP

      Stmt

      日志提取字段

      admin show frontend config like 'experimental_enable_workload_group'

      CpuTimeMS

      日志提取字段

      0

      SqlHash

      日志提取字段

      dd***5b20ad74e***ecbe****

      PeakMemoryBytes

      日志提取字段

      0

      WorkloadGroup

      日志提取字段

      normal

    1. 开启“自定义日志时间”按钮,配置“字段key”、“时间格式”参数后,单击“校验”。

      “时间格式”应该与表1 提取字段中“LogTime”格式保持一致,否则无法校验。

  5. 各参数配置完成,单击“保存”。
  6. 单击“索引配置”,进入索引配置页签。
  7. 字段索引选择“自动配置”,自动匹配,单击“确定”,日志模板配置完成。

步骤三:过滤Doris慢查询日志

  1. 在“日志搜索”页面刷新日志列表。
  2. 使用字段索引过滤慢查询。此处以SQL耗时字段CostTime为例,在搜索框中输入“CostTime >=10”,单击页面右上角的“查询”。
  3. 页面显示过滤后的日志。
    图3 过滤慢查询日志

相关文档