文档首页 > > 用户指南> 聚类分析>

日志聚类

日志聚类

分享
更新时间:2021/03/17 GMT+08:00

当面对大量日志时,运维人员很难快速了解系统在目标时间段发生了什么,应用是否健康,也无法使用“搜索关键字”来应对未知问题。日志聚类,是指将结构相似度高的日志聚合成一组,提取共同的日志模式(log pattern),使用 =* 替换该事件类型中所有日志行中不同的部分(例如变量部分),将大量日志快速聚合成较少的日志模式,帮助运维人员快速掌握应用全貌,关注异常事件。例如,有如下4行日志组成的日志集合:

User A log in
User B log in
User C log out
User D log out

通过日志聚类功能,可以将上面4行日志聚合成2组,每一组代表一个日志模式,用 =* 替换日志行中的变量部分,如下所示:

User =* log in
User =* log out

本文为您介绍如何开启日志聚类查看日志模式调整聚类精度

日志聚类功能当前仅“北京四”区域受限开放,敬请期待。

计费说明

公测期间免费使用。

开启日志聚类

  1. 在云日志服务管理控制台,单击“日志管理”。
  2. 在日志组列表中,单击日志组名称。
  3. 在日志流列表中,单击日志流名称。
  4. 选择“日志聚类”页签,单击“开启日志聚类”。

查看日志模式

对于多行日志和超长行日志,日志模式只保留原始日志经分词符( =,:;|{}()[]\t\f)分词后的前20个词语。

  1. 进入日志聚类页面,选择时间段,可以查看所有日志模式。

    • 日志模式个数:当前聚合精度下,聚合出的日志模式个数。
    • 日志行总数:所选时段内,日志聚类开启期间的原始日志行总数。
    • 日志模式:将相似的日志行聚合在一起,形成日志模式,日志模式中使用 =* 替换日志行中的变量部分,如: User =* log =* 。
    • 日志数:在选定时间段内,该日志模式对应的日志数。
  2. 单击某一日志模式,可以在右侧滑窗中查看日志模式详情,包括如下内容:

    • 日志数:在选定时间段内,该日志模式对应的日志数。
    • 时间:原始日志对应的时间。
    • 日志内容:原始日志内容。鼠标移动到日志内容上,单击日志内容后的,可以查看原始日志的上下文。
    • :单击后,可查看原始日志参数。
  3. 部分日志模式前面有,称为复合模式;前面没有的日志模式成为原子模式,复合模式是基于原子模式二次聚合计算得到的。您可以单击来展开查看每个子模式,如下图所示。

调整聚类精度

聚类精度反应了日志聚合的力度。精度,则聚合力度低,只有极为相似的日志行才能聚合在一起,每个日志模式更加抽象,对应的日志模式中包含更多的变量(=*);精度,则聚合力度大,允许更多相似度较低的日志行可以聚合到一起。例如,有以下四行日志:

User A log in
User B log in
User C log out
User D log out

当选择较高精度时,可以得到两个日志模式:

User =* log in
User =* log out

当选择较低精度时,所有的日志行将合并成一个模式:

 User =* log =*

您可以根据具体需求和场景调整聚类精度,操作方法如下:

  1. 进入日志聚类页面,选择时间段。
  2. 通过滑块,调整聚类精度。
    图1 聚类精度高,日志模式多
    图2 聚类精度低,日志模式少

关闭日志聚类

关闭日志聚类期间,日志聚类特性不可用;再次开启后,关闭期间的产生日志将不会被统计在日志行总数内。

  1. 在日志聚类页签,单击右上角“关闭日志聚类”。
  2. 单击“确认”关闭日志聚类,单击“取消”返回日志聚类界面。
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区论坛频道来与我们联系探讨

智能客服提问云社区提问