更新时间:2024-11-18 GMT+08:00

分析LTS日志

可视化提供对结构化后的日志字段进行SQL查询与分析的功能。对原始日志结构化后,等待1~2分钟左右,即可对结构化后的日志进行SQL查询与分析。

目前此功能支持全部用户使用的局点有:华南-广州、华北-北京四、华东-上海一、华东-上海二、中国-香港、西南-贵阳一、亚太-新加坡、华北-北京一、亚太-曼谷;支持部分白名单用户使用的局点有:华南-深圳、中东-利雅得、亚太-雅加达,其他局点暂不支持该功能。

前提条件

  • 已成功采集到日志。
  • 对日志内容已完成结构化配置,具体操作请参考设置云端结构化解析日志

    日志结构化后字段名称与系统SQL内置保留字段名称相同,或者字段名称中带有中划线、下划线、小数点这三种特殊字符时,SQL查询需要加英文双引号。系统SQL内置保留字段名称包括:"time"、"select"、"where"等。

分析日志

  1. 登录云日志服务控制台,进入“日志管理”页面。
  2. 单击目标日志组或日志流名称,进入日志详情页面。
  3. 选择“日志分析”页签。
  4. 在可视化页面支持交互式分析,通过该模块配置简单的分析语句,查询可视化数据,配置可视化图表。设置过滤条件,通过添加指标、添加分组、添加排序进行数据分析,方便用户操作。

  5. 选择时间范围,参考SQL分析语法介绍输入SQL语句,单击“查询”,在下方区域通过不同类型图表展示搜索结果。

    时间范围有三种方式,分别是相对时间、整点时间和自定义。您可以根据自己的实际需求,选择时间范围。
    • 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。
    • 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。
    • 自定义:表示查询指定时间范围的日志数据。
    • SQL查询约束有:
      1. 单次查询返回结果最多10W条。
      2. 当聚合结果超过10W时,聚合结果可能存在误差。
    • SQL查询语句中,string类型的where条件的键值有限制:
      1. 精确查找value需添加英文单引号, 模糊查找value需添加英文单引号或者双引号,key与SQL内置保留字段名称相同时需添加英文双引号。
      2. 建议使用where条件时,使用where "key"='value',或者where "key" like '%value%'。
    • SQL查询语句中,float和long类型的where条件不受限制,但当与关键词冲突时可能会导致查询异常,建议使用where "key"='value',或者where "key" like '%value%'进行查询。
    • 日志搜索框支持自定义上下拖动调整高度。
    • 输入搜索语法后,单击设置格式化sql和反格式化sql,优化搜索语句,提高搜索效率。

  6. 当设置时间范围内日志量超过10亿行时会触发迭代查询,可以通过迭代查询分多次完成全部日志的查询,界面会显示“查询状态:结果精确”。

  7. 根据SQL查询返回的数据,依照业务需求选择不同图表类型,呈现查询结果。详细请参考使用统计图表将日志可视化
  8. 对查询结果可执行如下操作:

    • 单击“新建”,在弹出的“创建可视化图表”中,根据业务需求填写“图表名称”,开启“同时添加到仪表盘”,单击“确定”,可视化图表保存成功。
    • 单击“保存”,对在弹出的“保存可视化图表”中,根据业务需求填写“图表名称”,开启“同时添加到仪表盘”,单击“确定”,可视化图表保存成功;当选中某个可视化图表时,单击“保存”,可对该图表进行修改。
    • 单击“另存为”,在弹出的“另存为可视化图表”中,根据业务需求填写“图表名称”,开启“同时添加到仪表盘”,单击“确定”,对已有可视化图表进行复制。

      须先保存一个图表后,才可另存为可视化图表。

    • 单击“下载”,可下载当前SQL查询结果的可视化数据,该文件为.csv。
    • 单击按钮添加告警,在弹出的“新建告警规则”中,为选中的可视化图表配置创建SQL告警规则

      须先保存一个图表后,才能新建告警规则。

    • 单击“展开图表”,可对当前日志流下的可视化图表展开;单击“收起图表”,可收起当前日志流下展开的可视化图表。