更新时间:2025-09-02 GMT+08:00
分享

创建快速分析

日志包含了系统性能及业务等信息,例如关键词ERROR的多少反映了系统的健康度,关键词BUY的多少反映了业务的成交量等,当您需要了解这些信息时,可以通过快速分析功能,指定查询日志关键词,LTS能够针对您配置的关键词进行统计,并生成指标数据,以便您实时了解系统性能及业务等信息。

使用限制

  1. 在快速分析下方显示字段的相关限制说明,参考如下:
    图1 快速分析字段
    • 支持对前100000条日志进行分析。

      快速分析的目的是快速返回字段值的分布情况和变化趋势,并没有对全量数据进行分析,是一种采样结果。

    • 支持通过查询时间和查询条件过滤日志进行分析。

      快速分析是对通过查询语句查询到的日志进行分析,当查询到的日志数目为零时,快速分析没有结果。

    • 支持将快速分析生成查询语句。

      单击快速分析的某一行分析结果,可自动生成查询语句,查询日志并生成新的快速分析。

    • 快速分析的字段长度最大为2000字节。
    • 快速分析字段分布统计展示前100条数据。
  2. 在单个字段分析的“更多指标信息”页面。

    字段分析的数据范围,是当前查询页面的(满足时间范围和查询条件)的全部日志。当日志数目在1亿条以下时,会进行全量分析。当日志数目超过了1亿条,会进行采样分析(采样规则是将采样后的数据控制在1亿条左右),如果要避免这种采样,建议您可以缩小时间范围或者增加搜索过滤条件。

    图2 更多指标信息

前提条件

快速分析的对象为结构化日志中提取的关键字段,创建快速分析前请确保日志正常上报,且已经完成结构化分析和索引配置。详细请参考使用ICAgent插件采集主机日志创建LTS日志索引

若您在日志接入LTS时没有配置ICAgent结构化解析,可以单独给目标日志流配置ICAgent结构化解析或云端结构化解析。推荐使用ICAgent结构化解析的方式,更多内容请参考配置ICAgent结构化解析

创建快速分析

快速分析以日志流为单位,请参考如下步骤进行创建。

  1. 登录云日志服务控制台,进入“日志管理”页面。
  2. 单击目标日志组或日志流名称,进入日志详情页面。
  3. 在“日志搜索”页签,单击快速分析旁边的进入“索引配置”页面,在索引配置页签的字段索引下方,单击“自动配置”,LTS自动配置字段索引,同时开启快速分析。

    图3 创建快速分析

  4. 单击“确定”,快速分析创建完成后,支持对字段进行统计分析。例如字段的基本分布情况、各种统计指标以及TOP5取值序列图,为您提供了深入的数据洞察和可视化工具,便于理解和挖掘。

    • 在快速分析下方的搜索框输入字段名称,即可显示搜索结果,方便您快速定位目标字段。
    • 字段前面显示abc表示String类型字段。
    • 字段前面显示1.2表示float类型字段。
    • 字段前面显示123表示long类型字段。
    • 字段前面显示{...}表示json类型字段。

  5. 设置隐藏或显示字段。

    • 在显示字段下方的目标字段后面单击即可隐藏单个字段。
      图4 隐藏单个字段
    • 在显示字段旁边,单击即可一键隐藏全部字段。
    • 在隐藏字段下方的目标字段后面单击即可显示单个字段。
      图5 显示单个字段
    • 在隐藏字段旁边,单击即可一键显示全部字段。

  6. 在快速分析显示字段下方,若该字段的统计数据大于或等于100条,单击“查看更多”可以跳转至统计图表页面,通过可视化图表,数据可以更直观地展示,便于分析和理解,提升数据分析的效率。
  7. 单击目标字段后面图标进入“更多指标信息”页面。

    • 数值类型的字段支持展示日志字段基本分布情况(日志总行数、当前列总行数等)、统计指标(最大值、最小值、平均值等)、数值分布直方图。
      图6 数值类型的更多指标信息
      表1 数值类型字段说明

      分类

      参数

      说明

      基本分布情况

      日志总行数

      当前查询页面设置时间和查询条件后统计出来的数据总行数。

      当前列总行数

      当前查询条件中包含该字段所在的行统计出来的总行数。

      缺失值总行数

      日志总行数当前列总行数。

      Distinct值总数

      使用approx_distinct函数计算该列中不重复的字段值数量。

      统计指标

      最大值

      该字段的最大值。

      最小值

      该字段的最小值。

      平均值

      该字段的平均值。

      中位数

      将数据正序排列后,返回位于中间位置的数据。

      四分位数Q1

      将数据正序排列后,返回位于25%位置的数据。

      四分位数Q3

      将数据正序排列后,返回位于75%位置的数据。

      样本标准差

      该字段的样本标准差。

      总体标准差

      该字段的总体标准差。

      峰度

      统计学概念,表示数据分布的集中程度。

      偏度

      统计学概念,表示数据的倾斜程度。

      数值分布直方图

      将数值分布划分为10个区间,统计数据直方图。

    • 单击“更多指标信息”页面右上角的“数值分布值统计”进入统计图表页面,通过可视化图表,数据可以更直观地展示,便于分析和理解,提升数据分析的效率。
    • 字符串类型的字段展示日志字段基本分布情况(日志总行数、当前列总行数等)、统计指标(最大长度、最小长度、平均长度)、Top5取值时序图。
      图7 字符串类型的更多指标信息
      表2 字符串类型字段说明

      分类

      参数

      说明

      基本分布情况

      日志总行数

      当前查询页面设置时间和查询条件后统计出来的数据总行数。

      当前列总行数

      当前查询条件中包含该字段所在的行统计出来的总行数。

      缺失值总行数

      日志总行数当前列总行数。

      缺失值占比

      缺失值总行数/日志总行数。

      Distinct值总数

      使用approx_distinct函数计算该列中不重复的字段值数量。

      Distinct值占比

      Distinct值总数/日志总行数。

      统计指标

      最大长度

      该字段值所占的最大字符长度。

      最小长度

      该字段值所占的最小字符长度。

      平均长度

      该字段值的平均字符长度。

      Top5取值时序图

      先计算出时间范围内总数前5的取值,然后绘制这些值随时间的变化趋势。

    • 单击“更多指标信息”页面右上角的“字段分布值统计”进入统计图表页面,通过可视化图表,数据可以更直观地展示,便于分析和理解,提升数据分析的效率。

  8. 在“更多指标信息”页面,单击显示蓝色的参数值会自动跳转到“统计图表”页面并生成对应的SQL查询语句进行查询,更加直观地展示字段值的分布和变化趋势。更多信息请参见SQL函数使用统计图表将日志可视化

相关文档