搜索与分析日志

云日志服务支持管道符特性在一个语句中同时进行搜索和分析。其语法结构主要由三部分构成：针对非结构化数据和半结构化数据的搜索语句、管道符“|”和针对结构化数据的查询的分析语句。语法示例结构：* and msg:"hello world" | SELECT avg(value)

日志搜索分析

在云日志服务管理控制台，单击“日志管理”。
在日志组列表中，单击日志组名称前对应的按钮。
在日志流列表中，单击日志流名称，进入日志详情页面。

图1 日志搜索页面
在日志内容下方，支持选择列表或原始日志方式展示日志内容。

日志高亮的实现原理是当查询条件命中日志后，再将日志与查询条件进行字符串匹配，相同日志部分增加高亮标签，该部分会在界面高亮展示。因此当查询条件比较复杂，尤其是存在或关系时，在界面高亮显示的内容可能会比实际查询结果显示的多。

在不上传原始日志的情况下，全文搜索中文时，可能会出现中文不高亮的情况，如果需要高亮字段（比如：field1）内容中的中文，请使用“field1: 中文关键词”形式。
在“日志搜索”页签，查看快速分析下方的结构化字段和索引配置字段，可以直接单击对应字段后面的图表，查看指标信息，详细操作请参考创建快速分析。

图2 结构化字段
在日志搜索页面，当搜索数据量过大时，LTS开始执行自动迭代查询日志。
- 自动迭代查询日志过程中，搜索框不支持输入，您可以单击“暂停查询”中断自动查询过程，若需要继续查询日志，单击“继续查询”恢复自动查询。建议您等待当前自动迭代查询完成后再发起新的查询任务。
- 对于较长时间的迭代查询，建议您缩小时间范围或添加过滤条件减少迭代次数。
在“统计图表”页签，在右上角选择时间范围，可以查看原始日志和统计图表。在搜索框由搜索语句和SQL分析语句组成，两者通过管道符|联动。详细请参考SQL函数。

图3 时间范围

时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。
- 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。
- 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。
- 自定义：表示查询指定时间范围的日志数据。
支持设置日志数据的版面展示，主要设置字段是否显示或简化显示。
1. 在下拉框单击编辑版面，进入版面设置页面，版面列表自带默认版面、纯净版面、容器日志默认版面，可以设置字段在版面是否显示。
  图4 编辑版面
  - 云端：适用于有写权限的用户，版面配置信息保存在云端。支持设置账号级别或用户级别的版面配置。
  - 本地缓存：适用于只有读权限的用户，版面配置信息缓存在本地浏览器。
2. 在版本设置页面的版本列表下方，单击“+”新增自定义版面，设置版面名称和版面字段的可见性。
  图5 版面设置
  
  新创建的版面可以进行如下操作：
  - 编辑：单击可以编辑版面的显示名称。
  - 复制：鼠标悬浮上，勾选复制到本地缓存，或者勾选云端-账号级别或云端-用户级别，单击“确定”即可复制版面信息。
  - 删除：单击，单击“确定”即可删除版面信息。
    
    删除版面信息后无法恢复，请谨慎操作。
3. 设置完成后，单击“确定”，返回下拉框显示新增的自定义版面。
在“日志搜索”页面，显示列设置。
1. 选择列表展示日志时，鼠标悬浮在按钮上，单击“显示列设置”，在弹出的日志折叠设置页面中，设置显示列的信息。
2. 时间列、content默认开启显示，在显示列下方，全量显示可见的字段名称，支持设置字段名称的别名，合理设置字段别名可以显著提高日志的可读性、可维护性和查询效率。设置完成后，单击“确定”。
3. 您可以通过创建快速分析或8显示或隐藏字段。

交互模式

使用交互模式之前，请确保日志正常上报，且已经完成结构化分析和索引配置，详细请参考使用ICAgent插件采集主机日志和创建LTS日志索引。

若用户在日志接入LTS时没有配置ICAgent结构化解析，可以单独给目标日志流配置ICAgent结构化解析或云端结构化解析。推荐使用ICAgent结构化解析的方式，更多内容请参考配置ICAgent结构化解析。

交互式搜索分析适用于生成简单的分析语句，操作简单，通过在界面上设置搜索条件和指定日志查询时的过滤规则，从而筛选日志中满足条件的记录。如果您需要使用更多的函数或者嵌套查询，请手动输入SQL语句。详细请参考SQL函数。

单击搜索框前面的“交互式搜索”，进入交互式搜索分析页面，支持设置日志搜索和日志分析。

图6 交互模式
在“日志搜索”下方的下拉框选择日志搜索的字段和条件，搜索框则会展示对应字段的值。根据业务需要，用户可以自定义设置搜索方式，添加关联关系或添加组进行搜索。
- 下拉框显示的字段为索引配置字段、结构化字段、内置保留字段。
- 且（AND）表示在多个条件中需要同时满足所有条件才能成立。
- 或（OR）表示在多个条件中只需满足其中一个条件即可。
例如在界面上选择content、hostId、pathFile字段，设置不同的条件，随时可以预览搜索语句，如有问题，可以修改搜索条件，操作简单。
在日志分析下方，设置分析规则。
1. 单击添加指标，选择统计函数作用于选定的字段，计算出用户想要的指标。
2. 分组排序是先基于用户选择的字段分组(group by)，然后分组执行指标统计，最后对结果进行排序(order by)。
  分别单击添加分组和添加排序，设置字段的分组信息和排序。
您可以根据需要设置不同的条件，随时可以预览搜索语句，如有问题，随时修改搜索条件，操作简单。设置完成后，单击“确定”，在“统计图表”页面，即可查看分析结果。更多信息请参考使用统计图表将日志可视化。

日志搜索的常用操作

日志搜索的常用操作有分享日志、刷新等操作，具体参考表1。

表1 常用操作
操作	说明
创建快速查询	单击按钮，创建快速查询。
查看仪表盘	单击按钮，在弹出来的仪表盘页面中，可查看已创建的仪表盘。
添加告警	单击按钮，在弹出的页面中，支持新建告警规则。
分享日志	单击复制当前日志搜索页面的链接，用于分享搜索日志。
刷新日志	单击对日志进行刷新，有两种方式刷新方式：手动刷新和自动刷新。手动刷新：单击“手动刷新”，可直接对日志进行刷新。自动刷新：选择自动刷新的间隔时间，将对日志进行自动刷新。间隔时间范围为15秒、30秒、1分钟和5分钟。
复制	单击复制日志内容。
查看上下文	单击查看日志上下文。支持选择简洁模式查看日志上下文。支持下载上下文内容。
更多操作	单击进入该时间段的日志详情页，查看更多日志信息。在“扩展字段”页签，查看字段名称、字段值，在对应字段操作列，支持对该字段进行添加到查询、从查询中排除、字段存在、字段不存在、隐藏的方式搜索日志。在“json格式”页签，查看日志的json格式。在“上下文日志”页签，支持设置查询行数、过滤字段、下载日志、简洁模式等操作。
换行/取消换行	单击按钮，搜索的日志内容将换行显示，默认开启换行按钮。若不需要换行，单击按钮，取消换行。
下载日志	支持将日志文件或日志查询分析结果下载到本地进行查看。请确保当前日志流上传了原始日志，否则下载后文件将没有内容。单击按钮。单击“下载日志”，在弹出的下载日志页面中支持前端直接下载、后台离线下线和前往创建转储。开通一次性转储后才能使用后台离线下线和前往创建转储。说明：一次性转储功能仅支持白名单用户使用，如有需要，请提交工单申请开通。前端直接下载：直接将前端查询的结果保存到本地，下载记录不会出现在日志下载历史中。单次下载支持最大5,000条日志。勾选“.csv”或“.txt”格式，单击“开始下载日志”，将日志导出至本地。后台离线下线：通过后台任务将日志文件下载到临时OBS桶中，您的浏览器需要有公网访问权限才能在日志下载历史中下载结果文件。单次下载支持最大2,000万条日志。勾选“.csv”或“.txt”或“.json”，单击“开始下载日志”，将日志导出至本地。日志转储成功后，云日志服务根据您实际的日志转储量进行收费。转储费用详情请参见LTS价格详情。前往创建转储：通过OBS转储任务下载日志文件，单次下载支持最大2,000万条日志。单击“前往创建转储”，跳转至配置转储页面创建一次性转储任务，详细请参考配置日志转储（一次性）。日志转储成功后，云日志服务根据您实际的日志转储量进行收费。转储费用详情请参见LTS价格详情。单击“日志下载历史”，在日志下载历史页面，支持查看、下载、复制日志下载链接、删除日志下载记录。加载完成的日志文件只在“日志下载历史”页面保留1天，请及时下载到本地保存。
全部折叠/全部展开	单击设置日志内容展示的行数。若不需要展示日志内容，再单击一次按钮即可关闭展示的日志内容。
JSON设置	鼠标悬浮在按钮上，单击“JSON设置”，在弹出的JSON设置页面中，设置格式化显示。默认开启格式化，JSON默认展开层级为2层。若日志包含多个反斜杠，当日志展示为json格式时，会丢失一个反斜杠，因为json解析会将第一个反斜杠作为转义符处理。开启格式化按钮：设置JSON默认展开层级，最大设置为10层。关闭格式化按钮：对于JSON格式的日志，将不会格式化层级显示。
日志折叠设置	鼠标悬浮在按钮上，单击“日志折叠设置”，在弹出的日志折叠设置页面中，设置长日志字符个数。日志超过设置的长日志字符个数时，超出字符将被隐藏，单击“展开”按钮可查看全部内容。默认开启自动折叠长日志，字符个数默认为400个。
日志时间展示	鼠标悬浮在按钮上，单击“日志时间展示”，在弹出的日志折叠设置页面中，默认开启展示毫秒，设置是否展示毫秒、是否展示时区。
不可见字段列表	该列表展示版面设置中配置的不可见性字段。当日志流未配置版面设置时，将不显示按钮。当日志内容为“CONFIG_FILE”且未配置版面设置时，不可见字段默认有appName、clusterId、clusterName、containerName、hostIPv6、NameSpace、podName和serviceID。