创建快速分析
日志包含了系统性能及业务等信息,例如关键词ERROR的多少反映了系统的健康度,关键词BUY的多少反映了业务的成交量等,当您需要了解这些信息时,可以通过快速分析功能,指定查询日志关键词,LTS能够针对您配置的关键词进行统计,并生成指标数据,以便您实时了解系统性能及业务等信息。
使用限制
前提条件
快速分析的对象为结构化日志中提取的关键字段,创建快速分析前请确保日志正常上报,且已经完成结构化分析和索引配置。详细请参考使用ICAgent插件采集主机日志和创建LTS日志索引。
若您在日志接入LTS时没有配置ICAgent结构化解析,可以单独给目标日志流配置ICAgent结构化解析或云端结构化解析。推荐使用ICAgent结构化解析的方式,更多内容请参考配置ICAgent结构化解析。
创建快速分析
快速分析以日志流为单位,请参考如下步骤进行创建。
- 登录云日志服务控制台,进入“日志管理”页面。
- 单击目标日志组或日志流名称,进入日志详情页面。
- 在“日志搜索”页签,单击快速分析旁边的
进入“索引配置”页面,在索引配置页签的字段索引下方,单击“自动配置”,LTS自动配置字段索引,同时开启快速分析。
图3 创建快速分析 - 单击“确定”,快速分析创建完成后,支持对字段进行统计分析。例如字段的基本分布情况、各种统计指标以及TOP5取值序列图,为您提供了深入的数据洞察和可视化工具,便于理解和挖掘。
- 在快速分析下方的搜索框输入字段名称,即可显示搜索结果,方便您快速定位目标字段。
- 字段前面显示abc表示String类型字段。
- 字段前面显示1.2表示float类型字段。
- 字段前面显示123表示long类型字段。
- 字段前面显示{...}表示json类型字段。
- 设置隐藏或显示字段。
- 在显示字段下方的目标字段后面单击
即可隐藏单个字段。
图4 隐藏单个字段 - 在显示字段旁边,单击
即可一键隐藏全部字段。
- 在隐藏字段下方的目标字段后面单击
即可显示单个字段。
图5 显示单个字段 - 在隐藏字段旁边,单击
即可一键显示全部字段。
- 在显示字段下方的目标字段后面单击
- 在快速分析显示字段下方,若该字段的统计数据大于或等于100条,单击“查看更多”可以跳转至统计图表页面,通过可视化图表,数据可以更直观地展示,便于分析和理解,提升数据分析的效率。
- 单击目标字段后面
图标进入“更多指标信息”页面。
- 数值类型的字段支持展示日志字段基本分布情况(日志总行数、当前列总行数等)、统计指标(最大值、最小值、平均值等)、数值分布直方图。
图6 数值类型的更多指标信息
表1 数值类型字段说明 分类
参数
说明
基本分布情况
日志总行数
当前查询页面设置时间和查询条件后统计出来的数据总行数。
当前列总行数
当前查询条件中包含该字段所在的行统计出来的总行数。
缺失值总行数
日志总行数当前列总行数。
Distinct值总数
使用approx_distinct函数计算该列中不重复的字段值数量。
统计指标
最大值
该字段的最大值。
最小值
该字段的最小值。
平均值
该字段的平均值。
中位数
将数据正序排列后,返回位于中间位置的数据。
四分位数Q1
将数据正序排列后,返回位于25%位置的数据。
四分位数Q3
将数据正序排列后,返回位于75%位置的数据。
样本标准差
该字段的样本标准差。
总体标准差
该字段的总体标准差。
峰度
统计学概念,表示数据分布的集中程度。
偏度
统计学概念,表示数据的倾斜程度。
数值分布直方图
将数值分布划分为10个区间,统计数据直方图。
- 单击“更多指标信息”页面右上角的“数值分布值统计”进入统计图表页面,通过可视化图表,数据可以更直观地展示,便于分析和理解,提升数据分析的效率。
- 字符串类型的字段展示日志字段基本分布情况(日志总行数、当前列总行数等)、统计指标(最大长度、最小长度、平均长度)、Top5取值时序图。
图7 字符串类型的更多指标信息
表2 字符串类型字段说明 分类
参数
说明
基本分布情况
日志总行数
当前查询页面设置时间和查询条件后统计出来的数据总行数。
当前列总行数
当前查询条件中包含该字段所在的行统计出来的总行数。
缺失值总行数
日志总行数当前列总行数。
缺失值占比
缺失值总行数/日志总行数。
Distinct值总数
使用approx_distinct函数计算该列中不重复的字段值数量。
Distinct值占比
Distinct值总数/日志总行数。
统计指标
最大长度
该字段值所占的最大字符长度。
最小长度
该字段值所占的最小字符长度。
平均长度
该字段值的平均字符长度。
Top5取值时序图
先计算出时间范围内总数前5的取值,然后绘制这些值随时间的变化趋势。
- 单击“更多指标信息”页面右上角的“字段分布值统计”进入统计图表页面,通过可视化图表,数据可以更直观地展示,便于分析和理解,提升数据分析的效率。
- 数值类型的字段支持展示日志字段基本分布情况(日志总行数、当前列总行数等)、统计指标(最大值、最小值、平均值等)、数值分布直方图。
- 在“更多指标信息”页面,单击显示蓝色的参数值会自动跳转到“统计图表”页面并生成对应的SQL查询语句进行查询,更加直观地展示字段值的分布和变化趋势。更多信息请参见SQL函数、使用统计图表将日志可视化。