lts
日志清洗
更新时间:2021/01/19 GMT+08:00
在海量日志运维过程中,当用户只需关注部分有效的日志内容时,可通过日志清洗,设置自定义清洗规则(过滤条件),LTS可将不需要的日志过滤掉,保留有价值的日志。这样做既减少了日志存储成本,同时提升了查询和分析效率。
前提条件
对日志内容已完成结构化配置,具体操作请参考日志结构化。
创建日志清洗规则
- 登录LTS控制台,在左侧导航栏中选择“日志管理 ”。
- 在“日志管理”页面选择目标日志组和日志流。
- 选择“配置中心 > 日志清洗”,单击“开始创建”,参照表1配置相关参数创建清洗规则。
表1 参数说明 名称
说明
覆盖本日志流
清洗模式的一种,满足清洗规则的日志内容将覆盖本日志流中的原始日志。一个日志流仅可配置一条覆盖规则。
另存为新日志流
- 清洗模式的一种,满足清洗规则的日志内容将保存到新建的日志流中,新日志流会继承当前日志流的结构化规则。一个日志流可配置多条另存为规则。
- 选择另存为新日志流时,须重新选择已有日志组与日志流,也可以根据需求在下拉框中单击“创建日志组”创建新的日志组跟日志流。
请选择字段
单击下拉框选择相应的字段。
说明:日志清洗中的所有字段均是创建日志结构化时设置的字段,详情请参考日志结构化相关内容。
规则
值
用户可根据业务需求填写相应的值。
日志清洗规则最多可创建10条。
- 如需添加多条清洗规则条件,可单击“添加串联条件”和“添加并行条件”,参照表1添加清洗规则条件。若要删除已创建的清洗规则条件,单击
进行删除。
- 当需要筛选多个条件中的一个及其以上的日志时,选择“添加串联条件”。
- 当需要包括多个条件的日志时,选择“添加并行条件”。
- 单击“保存”,日志清洗规则创建成功。
通过日志清洗创建的新日志流内不支持再次创建日志清洗规则。
查看日志清洗标签
日志清洗规则创建成功后,回到日志流管理页面,可以在日志流名称下看到相应日志清洗标签。
- 当选择“覆盖本日志流”规则:在日志流管理页面,该日志流名称下,会出现如下字段:
- “_log-filter-type”,表示日志清洗类型。
- “override”字段,表示日志清洗类型为覆盖本日志流。
- 当选择“另存为新日志流”规则:在日志流管理页面,新日志流名称下,会出现如下字段:
- “_parent”及“日志组|日志流”,表示当前日志流是在该日志组和日志流中新创建的一条日志流。
- “_log-filter-type”,表示日志清洗类型。
- “sub-stream”,表示日志清洗类型为另存为新日志流。
并且在原创建日志清洗规则的日志流上,出现如下字段:
- “_log-filter”,表示是否开启日志清洗。
- “enabled”,表示日志清洗已开启。
修改与删除日志清洗规则
- 修改日志清洗规则
- 登录LTS控制台,在左侧导航栏中选择“日志管理 ”。
- 在“日志管理”页面选择目标日志组和日志流,进入日志流管理页面。
- 选择“配置中心 > 日志清洗”,在待修改的日志清洗规则右下方框内,单击
,进入创建清洗规则页面进行修改。具体参数配置请参考创建日志清洗规则。
- 删除日志清洗规则
父主题: 查看日志
