日志搜索与分析概述

日志结构化

执行搜索与分析前，需要将上报的日志进行结构化配置和索引配置。结构化后的数据具有统一的长度和格式，能够显著提升搜索与分析的效率和准确性。

日志数据可分为结构化数据和非结构化数据。

• 结构化数据是指能够用数字或统一的数据模型描述的数据，具有严格的长度和格式，便于存储和分析。
• 非结构化数据是指不便于用数据库二维逻辑表来表现的数据，数据结构不规则或不完整，缺乏预定义的数据模型，难以直接进行分析。

日志结构化是以日志流为单位，通过特定的提取方式，将日志流中格式固定或相似度较高的日志提取出来，同时过滤掉不相关的日志。结构化后的日志可以方便的使用SQL语法进行查询与分析。

日志结构化解析是将非结构化或半结构化的日志数据转换为结构化格式的过程，以便于更好地存储、查询和分析，提高日志数据的可读性、可搜索性和查询效率。

云日志服务支持两种日志结构化解析方式：ICAgent结构化解析和云端结构化解析，且一个日志流只能配置一种结构化方式，例如选择ICAgent结构化解析后，不能再选择云端结构化解析，需要删除后，才能重新选择。更多信息请参考图1。

若用户在日志接入时已经配置ICAgent结构化解析，则无需再配置云端结构化解析。

• ICAgent结构化解析是在采集侧做结构化，支持插件组合解析，单个日志流的多个采集配置支持不同结构化解析规则，推荐使用ICAgent结构化解析的方式，更多内容请参考ICAgent结构化解析规则说明。
• 云端结构化解析是通过不同的日志提取方式将日志流中的日志进行结构化，云端结构化解析会消耗LTS服务端算力，未来会按照日志大小收取日志加工流量费用。

图1 不同解析方式

日志搜索

结构化完成后，使用云日志服务LTS提供的搜索语法用于设置搜索条件，帮助您更有效地搜索日志。详细请参考搜索日志。

日志分析

云日志服务LTS支持使用SQL分析语法，对结构化后的日志字段进行日志分析，通过统计图表的方式对查询和分析的结果进行可视化展示。详细请参考分析LTS日志。