更新时间:2025-09-07 GMT+08:00

日志搜索与分析概述

日志搜索与分析是运维中不可或缺的一环。日志接入成功后,云日志服务LTS支持对采集成功的日志数据进行搜索与分析。通过合理的日志收集、高效的搜索方法和专业的分析工具,可以实现对系统或应用的全面监控和精细化管理。

管道符搜索方式仅支持白名单用户使用,如有需要,请提工单申请开通。详细操作请参考提交工单

费用说明

搜索分析本身不产生费用,但由于其依赖日志上报至LTS并开启索引,会产生日志读写流量费用、索引流量费用、存储费用等,更多信息请参考计费项

约束与限制

日志搜索与分析的限制请参考搜索与分析限制

日志结构化

执行搜索与分析前,需要将上报的日志进行结构化配置和索引配置。结构化后的数据具有统一的长度和格式,能够显著提升搜索与分析的效率和准确性。

日志数据可分为结构化数据和非结构化数据。

  • 结构化数据是指以表格、关系型数据库等数据模型组织的数据,具有严格的长度和格式,便于存储和分析。
  • 非结构化数据是指不便于用数据库二维逻辑表来表现的数据,数据结构不规则或不完整,缺乏预定义的数据模型,难以直接进行分析。

日志结构化是以日志流为单位,通过特定的提取方式,将日志流中格式固定或相似度较高的日志提取出来,同时过滤掉不相关的日志。结构化后的日志可以方便的使用SQL语法进行查询与分析。

日志结构化解析是将非结构化或半结构化的日志数据转换为结构化格式的过程,以便于更好地存储、查询和分析,提高日志数据的可读性、可搜索性和查询效率。

云日志服务支持两种日志结构化解析方式:ICAgent结构化解析和云端结构化解析,且一个日志流只能配置一种结构化方式,例如选择ICAgent结构化解析后,不能再选择云端结构化解析,需要删除后,才能重新选择。更多信息请参考图1

若用户在日志接入时已经配置ICAgent结构化解析,则无需再配置云端结构化解析。

  • ICAgent结构化解析是在采集侧做结构化,支持插件组合解析,单个日志流的多个采集配置支持不同结构化解析规则,推荐使用ICAgent结构化解析的方式更多内容请参考配置ICAgent结构化解析
  • 云端结构化解析是通过不同的日志提取方式将日志流中的日志进行结构化,云端结构化解析会消耗LTS系统端算力,未来会按照日志量大小收取日志加工流量费用。
图1 不同解析方式

日志搜索与分析

结构化完成后,使用云日志服务LTS提供的搜索语法SQL函数用于设置搜索条件,通过管道符|联动搜索语句和SQL分析语句,可以更高效地提取和分析日志数据,将分析结果通过统计图表可视化展示。详细请参考搜索与分析日志