配置结构化规则
日志数据可分为结构化数据和非结构化数据。结构化数据指能够用数字或统一的数据模型加以描述的数据,具有严格的长度和格式。非结构化数据指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,没有预定义的数据模型。
日志结构化是以日志流为单位,通过不同的日志提取方式将日志流中的日志进行结构化,提取出有固定格式或者相似程度较高的日志,过滤掉不相关的日志,以便对结构化后的日志按照SQL语法进行查询与分析。
前提条件
已通过日志配置将日志转储至LTS。
操作步骤
- 登录管理控制台。
- 单击管理控制台左上角的
,选择区域。
- 在左侧导航树中,单击左上方的
,选择 ,进入云防火墙的概览页面。
- (可选)当前账号下仅存在单个防火墙实例时,自动进入防火墙详情页面,存在多个防火墙实例时,单击防火墙列表“操作”列的“查看”,进入防火墙详情页面。
- 在左侧导航树中,选择“日志管理”页面。选择目标日志组和日志流。 ,进入
- 单击“可视化”页签,选择JSON格式。
- 提取日志字段。
- 在“步骤1 选择示例日志”中,单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,也可以直接在输入框中输入待操作的日志,单击“确定”。
示例日志应选择一条较典型的日志。
- 单击“步骤2 字段提取”中的“智能提取”,获得“日志提取字段”。
- 当日志提取字段的类型为float时,精确度为7位有效数字。
- 为避免提取字段内容不准确,影响可视化查看和快速分析,当精确度超过7位有效数字时,建议将字段类型修改为String。
- 在“步骤1 选择示例日志”中,单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,也可以直接在输入框中输入待操作的日志,单击“确定”。
- 单击“保存”,完成日志结构化,初次设置完成后将不能对字段类型编辑修改。