文档首页 > > 用户指南> 日志分析>

日志清洗

日志清洗

分享
更新时间:2021/03/08 GMT+08:00

在海量日志运维过程中,当用户只需关注部分有效的日志内容时,可通过日志清洗,设置自定义清洗规则(过滤条件),LTS可将不需要的日志过滤掉,保留有价值的日志。这样做既减少了日志存储成本,同时提升了查询和分析效率。

前提条件

对日志内容已完成结构化配置,具体操作请参考结构化配置

创建日志清洗规则

  1. 登录LTS控制台,在左侧导航栏中选择“日志管理 ”。
  2. 在“日志管理”页面选择目标日志组和日志流。
  3. 选择“配置中心 > 日志清洗”,单击“开始创建”,参照表1配置相关参数创建清洗规则。

    表1 参数说明

    名称

    说明

    覆盖本日志流

    清洗模式的一种,满足清洗规则的日志内容将覆盖本日志流中的原始日志。一个日志流仅可配置一条覆盖规则。

    另存为新日志流

    • 清洗模式的一种,满足清洗规则的日志内容将保存到新建的日志流中,新日志流会继承当前日志流的结构化规则。一个日志流可配置多条另存为规则。
    • 选择另存为新日志流时,须重新选择已有日志组与日志流,也可以根据需求在下拉框中单击“创建日志组”创建新的日志组跟日志流。

    请选择字段

    单击下拉框选择相应的字段。

    说明:

    日志清洗中的所有字段均是创建日志结构化时设置的字段,详情请参考结构化配置相关内容。

    规则

    • 当字段类型为string时:
      • =

        字段值等于规则后面自定义输入的值。

      • !=

        字段值不等于规则后面自定义输入的值。

      • 包含

        字段值包含规则后面自定义输入的值。

    • 当字段类型为long和float时:
      • <

        字段值小于规则后面自定义输入的值。

      • <=

        字段值小于等于规则后面自定义输入的值。

      • =

        字段值等于规则后面自定义输入的值。

      • >=

        字段值大于等于规则后面自定义输入的值。

      • >

        字段值大于规则后面自定义输入的值。

    用户可根据业务需求填写相应的值。

    日志清洗规则最多可创建10条。

  4. 如需添加多条清洗规则条件,可单击“添加串联条件”和“添加并行条件”,参照表1添加清洗规则条件。若要删除已创建的清洗规则条件,单击进行删除。

    • 当需要筛选多个条件中的一个及其以上的日志时,选择“添加串联条件”。
    • 当需要包括多个条件的日志时,选择“添加并行条件”。

  5. 单击“保存”,日志清洗规则创建成功。

    通过日志清洗创建的新日志流内不支持再次创建日志清洗规则。

查看日志清洗标签

日志清洗规则创建成功后,回到日志流管理页面,可以在日志流名称下看到相应日志清洗标签。

  1. 当选择“覆盖本日志流”规则:在日志流管理页面,该日志流名称下,会出现如下字段:
    • “_log-filter-type”,表示日志清洗类型。
    • “override”字段,表示日志清洗类型为覆盖本日志流。
  2. 当选择“另存为新日志流”规则:在日志流管理页面,新日志流名称下,会出现如下字段:
    • “_parent”及“日志组|日志流”,表示当前日志流是在该日志组和日志流中新创建的一条日志流。
    • “_log-filter-type”,表示日志清洗类型。
    • “sub-stream”,表示日志清洗类型为另存为新日志流。

    并且在原创建日志清洗规则的日志流上,出现如下字段:

    • “_log-filter”,表示是否开启日志清洗。
    • “enabled”,表示日志清洗已开启。

修改与删除日志清洗规则

  • 修改日志清洗规则
    1. 登录LTS控制台,在左侧导航栏中选择“日志管理 ”。
    2. 在“日志管理”页面选择目标日志组和日志流,进入日志流管理页面。
    3. 选择“配置中心 > 日志清洗”,在待修改的日志清洗规则右下方框内,单击,进入创建清洗规则页面进行修改。具体参数配置请参考创建日志清洗规则
  • 删除日志清洗规则
    1. 登录LTS控制台,在左侧导航栏中选择“日志管理 ”。
    2. 在“日志管理”页面选择目标日志组和日志流,进入日志流管理页面。
    3. 选择“配置中心 > 日志清洗”,在待修改的日志清洗规则右下方框内,单击,在弹出框“删除规则”中选择“是”,删除日志清洗规则成功。
      1. 当需删除的日志清洗规则设置为覆盖本日志流时,则只删除日志流中设置的日志清洗规则。

      2. 当需删除的日志清洗规则设置为另存为新日志流时,用户可根据业务需求勾选弹出框中的“同时删除对应日志流”,则可以将日志清洗规则与新建的日志流一同删除。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区论坛频道来与我们联系探讨

智能客服提问云社区提问