搜索日志
当您配置完成日志结构化解析和索引后,就可以通过输入搜索语句,在日志数据中查找包含特定关键词的日志记录。或者根据时间范围来检索日志数据,帮助您定位特定时间段内发生的事件和问题。
搜索语句用于指定日志查询时的过滤规则,返回符合条件的日志。搜索语句可以为关键词、数值、数值范围、空格、星号(*)等。 如果为空格或星号(*),表示无过滤条件。更多信息请参见LTS搜索语法介绍。
搜索日志
- 登录云日志服务控制台,进入“日志管理”页面。
- 在“日志管理”页面,单击目标日志组或日志流名称,进入日志详情页面。
- 在“日志搜索”页面,您可以根据自己的实际需求,在时间范围选择框,即可查看不同时间段的日志数据。
图1 时间范围
时间范围有三种方式,分别是相对时间、整点时间和自定义。您可以根据自己的实际需求,选择时间范围。
- 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。
- 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。
- 自定义:表示查询指定时间范围的日志数据。支持选择3个月的范围,白名单用户支持选择6个月的范围。如有需要,请提交工单申请。
- 根据LTS搜索语法介绍在搜索框输入查询条件,用于日志数据的查看、简单搜索和过滤。
图2 日志搜索
- 在页面搜索区域中,单击搜索框,输入待搜索的关键字,或在弹出的下拉框中选择待搜索的字段和关键词,单击“查询”,开始搜索。
- 内置保留字段有appName、category、clusterId、clusterName、collectTime等,默认简化显示,并且hostIP、hostName、pathFile默认显示在最前面。更多内置保留字段请参考创建LTS日志索引。
- 结构化配置的字段按照key:value显示。
- 日志搜索框内容过多时支持自动换行并多行显示。支持固定搜索框高度。
- 在页面搜索区域,使用键盘的"↑""↓"箭头,选择待搜索的关键字或搜索语法,单击Tab键或Enter键选中后,单击“查询”,开始搜索。
- 对已创建快速分析的字段,单击选择字段可直接将其添加到页面搜索框中,进行搜索。请参考创建LTS快速分析开启快速分析。
通过单击字段添加到搜索框中,如果是同一字段,则将直接替换该方式添加的字段,不会进行AND搜索;如果是不同字段,则对不同字段进行AND搜索。
- 在页面搜索区域中,单击搜索框,输入待搜索的关键字,或在弹出的下拉框中选择待搜索的字段和关键词,单击“查询”,开始搜索。
- 在“日志搜索”页签,您可以进行如下操作,更多操作请参考日志搜索的常用操作。
- 在日志统计下方,展示不同时间段的日志总条数柱状图,柱状图旁边显示日志条数刻度。
图3 日志统计
若使用了内嵌功能,支持设置收起或展开式日志条数统计图。关于内嵌参数请参考云日志服务地址。
- 在日志内容下方,鼠标悬浮指向日志内容中的字段,单击蓝色字体的日志内容,支持以下方式搜索日志:复制、添加到查询、从查询中排除、添加到查询(交互模式)、从查询中排除(交互模式)、新建查询、隐藏。
- 在日志内容下方,支持选择列表或原始日志方式展示日志内容。
日志高亮的实现原理是当查询条件命中日志后,再将日志与查询条件进行字符串匹配,相同日志部分增加高亮标签,该部分会在界面高亮展示。因此当查询条件比较复杂,尤其是存在或关系时,在界面高亮显示的内容可能会比实际查询结果显示的多。
- 在日志统计下方,展示不同时间段的日志总条数柱状图,柱状图旁边显示日志条数刻度。
- 在日志搜索页面,当搜索数据量过大时,LTS开始执行自动迭代查询日志。
- 自动迭代查询日志过程中,搜索框不支持输入,您可以单击“暂停查询”中断自动查询过程,若需要继续查询日志,单击“继续查询”恢复自动查询。建议您等待当前自动迭代查询完成后再发起新的查询任务。
- 对于较长时间的迭代查询,建议您缩小时间范围或添加过滤条件减少迭代次数。
- 支持设置日志数据的版面展示,主要设置字段是否显示或简化显示。
- 在下拉框单击编辑版面,进入版面设置页面,版面列表自带默认版面、纯净版面、容器日志默认版面,可以设置字段在版面是否显示。
图4 编辑版面
- 云端:适用于有写权限的用户,版面配置信息保存在云端。
- 本地缓存:适用于只有读权限的用户,版面配置信息缓存在本地浏览器。
- 在版本设置页面的版本列表下方,单击“+”新增自定义版面,设置版面名称和版面字段的可见性。
图5 版面设置
- 设置完成后,单击“确定”,返回下拉框显示新增的自定义版面。
- 在下拉框单击编辑版面,进入版面设置页面,版面列表自带默认版面、纯净版面、容器日志默认版面,可以设置字段在版面是否显示。
- 在“日志搜索”页面,选择列表,支持设置显示列。
交互模式
使用交互模式之前,请确保日志正常上报,且已经完成结构化分析和索引配置。详细请参考使用ICAgent插件采集主机日志和创建LTS日志索引。
若用户在日志接入LTS时没有配置ICAgent结构化解析,可以单独给目标日志流配置ICAgent结构化解析或云端结构化解析。推荐使用ICAgent结构化解析的方式,更多内容请参考配置ICAgent结构化解析。
交互式搜索适用于生成简单的搜索语句,操作简单,通过在界面上设置搜索条件和指定日志查询时的过滤规则,从而筛选日志中满足条件的记录。如果您需要使用更多的函数或者嵌套查询,请手动输入SQL语句。详细请参考SQL分析语法介绍。
- 单击搜索框前面的“交互模式”,进入交互式搜索页面。
图6 交互模式
- 在下拉框选择日志搜索的字段和条件,搜索框则会展示对应字段的值。根据业务需要,用户可以自定义设置搜索方式,添加关联关系或添加组进行搜索。
- 下拉框显示的字段为索引配置字段、结构化字段、内置保留字段。
- 且(AND)表示在多个条件中需要同时满足所有条件才能成立。
- 或(OR)表示在多个条件中只需满足其中一个条件即可。
例如在界面上选择content、collectTime、category字段,设置不同的条件,随时可以预览搜索语句,如有问题,可以修改搜索条件,操作简单。
(截图仅供参考,请以实际搜索结果为准)
(content:"{\"write_traffic\":11,\"index_traffic\":133,\"storage\":17107}" AND collectTime=1728631667089) OR category:LTS
- 设置完成后,单击“确定”,LTS根据搜索语句进行日志搜索,在日志搜索下方即可查看搜索结果。(截图仅供参考,请以实际搜索结果为准)
日志搜索的常用操作
在日志内容展示区域,支持分享日志、查看上下文、下载日志等操作,具体参考表1。
如果出现服务网络不稳定、系统负载过高或其他不可预见的因素时,日志上报到LTS可能会出现极少日志的重复或丢失的情况。
操作 |
说明 |
---|---|
创建快速查询 |
单击 |
查看仪表盘 |
单击 |
添加告警 |
单击 |
分享日志 |
单击 |
刷新日志 |
单击
|
复制 |
单击 |
查看上下文 |
单击 支持选择简洁模式查看日志上下文。支持下载上下文内容。 |
更多操作 |
单击
|
换行/取消换行 |
单击 |
下载日志 |
说明:
该功能仅支持白名单用户使用,如有需要,请提交工单申请开通。 请确保当前日志流上传了原始日志,否则下载后文件将没有内容。 鼠标悬浮在
|
全部折叠/全部展开 |
单击 |
JSON设置 |
鼠标悬浮在 默认开启格式化,JSON默认展开层级为2层。若日志包含多个反斜杠,当日志展示为json格式时,会丢失一个反斜杠,因为json解析会将第一个反斜杠作为转义符处理。
|
日志折叠设置 |
鼠标悬浮在 日志超过设置的长日志字符个数时,超出字符将被隐藏,单击“展开”按钮可查看全部内容。 默认开启自动折叠长日志,字符个数默认为400个。 |
日志时间展示 |
鼠标悬浮在 |
虚拟滚动设置 |
鼠标悬浮在
|
不可见字段列表 |
该列表展示版面设置中配置的不可见性字段。
|
跨流搜索
在当前日志流详情页面,支持跨流搜索日志,即无需退出当前日志搜索页面,即可选择其他日志流搜索日志。
- 在当前日志流详情页面,单击
。
- 在弹出的跨流搜索页面,选择需要搜索的目标日志流。
- 单击“确定”。
- 进入目标日志流详情页,根据业务需要参考搜索语法介绍进行搜索日志。
若需要更换日志流,单击左上角跨流搜索旁边
,在弹出的页面重新选择日志流进行搜索。
- 搜索完成后,单击右上角的“退出跨流搜索”,即可返回当前日志流搜索页面。
- 当跨流搜索的日志流的分词配置不同时,会导致跨流日志关键词高亮不一致。
- 最多可同时搜索50个日志流。
- 仅支持搜索原始日志,暂不支持使用SQL进行统计分析。
- 支持跨日志组选择日志流,但不支持跨区域选择日志流。
- 跨流搜索选择多个索引配置不一致的日志流,例如A日志流配置了字段索引Key1,B日志流没有配置该字段,使用搜索语句Key1:xxx搜索日志时,仅能查看A日志流的相关日志,B日志流搜索日志失败,请根据界面报错提示修改后再重新搜索日志。
相关文档
- 日志接入LTS成功后,您可通过云日志服务LTS的日志告警功能,通过设置告警规则提醒您日志中的异常情况,请参考配置日志告警规则。
- 如果在搜索日志时遇到问题,您可以参考日志搜索与分析常见问题获取解决方案。
- 为您推荐几种在真实使用场景下日志搜索与分析的实践教程。更多信息请参考日志搜索与分析最佳实践。
- WAF接入LTS后,支持通过LTS分析WAF日志。您可以参考在LTS页面分析华为云WAF日志。
- LTS支持将日志查询界面嵌入到客户自建系统。您可以参考将将LTS日志查询页面嵌入用户自建系统。