搜索与分析日志

云日志服务支持管道符特性在一个语句中同时进行搜索和分析。其语法结构主要由三部分构成：针对非结构化数据和半结构化数据的搜索语句、管道符“|”和针对结构化数据的查询的分析语句。语法示例结构：* and msg:"hello world" | SELECT avg(value)

日志搜索分析

在云日志服务管理控制台，单击“日志管理”。
在日志组列表中，单击日志组名称前对应的按钮。
在日志流列表中，单击日志流名称，进入日志详情页面。

图1 日志搜索页面
在“日志搜索”页签，查看快速分析下方的结构化字段和索引配置字段，可以直接单击对应字段后面的图表，查看指标信息，详细操作请参考创建快速分析。

图2 结构化字段
在日志搜索页面，当搜索数据量过大时，LTS开始执行自动迭代查询日志。
- 自动迭代查询日志过程中，搜索框不支持输入，您可以单击“暂停查询”中断自动查询过程，若需要继续查询日志，单击“继续查询”恢复自动查询。建议您等待当前自动迭代查询完成后再发起新的查询任务。
- 对于较长时间的迭代查询，建议您缩小时间范围或添加过滤条件减少迭代次数。
在“统计图表”页签，在右上角选择时间范围，可以查看原始日志和统计图表。在搜索框由搜索语句和SQL分析语句组成，两者通过管道符|联动。详细请参考SQL函数。

图3 时间范围

时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。
- 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。
- 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。
- 自定义：表示查询指定时间范围的日志数据。
支持设置日志数据的版面展示，主要设置字段是否显示或简化显示。
1. 在下拉框单击编辑版面，进入版面设置页面，版面列表自带默认版面、纯净版面、容器日志默认版面，可以设置字段在版面是否显示。
  图4 编辑版面
  - 云端：适用于有写权限的用户，版面配置信息保存在云端。支持设置账号级别或用户级别的版面配置。
  - 本地缓存：适用于只有读权限的用户，版面配置信息缓存在本地浏览器。
2. 在版本设置页面的版本列表下方，单击“+”新增自定义版面，设置版面名称和版面字段的可见性。
  图5 版面设置
  
  新创建的版面可以进行如下操作：
  - 编辑：单击可以编辑版面的显示名称。
  - 复制：鼠标悬浮上，勾选复制到本地缓存，或者勾选云端-账号级别或云端-用户级别，单击“确定”即可复制版面信息。
  - 删除：单击，单击“确定”即可删除版面信息。
    
    删除版面信息后无法恢复，请谨慎操作。
3. 设置完成后，单击“确定”，返回下拉框显示新增的自定义版面。
在“日志搜索”页面，显示列设置。
1. 选择列表展示日志时，鼠标悬浮在按钮上，单击“显示列设置”，在弹出的日志折叠设置页面中，设置显示列的信息。
2. 时间列、content默认开启显示，在显示列下方，全量显示可见的字段名称，支持设置字段名称的别名，合理设置字段别名可以显著提高日志的可读性、可维护性和查询效率。设置完成后，单击“确定”。
3. 您可以通过创建快速分析或7显示或隐藏字段。

交互模式

使用交互模式之前，请确保日志正常上报，且已经完成结构化分析和索引配置，详细请参考使用ICAgent插件采集主机日志和创建LTS日志索引。

若用户在日志接入LTS时没有配置ICAgent结构化解析，可以单独给目标日志流配置ICAgent结构化解析或云端结构化解析。推荐使用ICAgent结构化解析的方式，更多内容请参考配置ICAgent结构化解析。

交互式搜索分析适用于生成简单的分析语句，操作简单，通过在界面上设置搜索条件和指定日志查询时的过滤规则，从而筛选日志中满足条件的记录。如果您需要使用更多的函数或者嵌套查询，请手动输入SQL语句。详细请参考SQL函数。

单击搜索框前面的“交互式搜索分析”，进入交互式搜索分析页面，支持设置日志搜索和日志分析。

图6 交互模式
在“日志搜索”下方的下拉框选择日志搜索的字段和条件，搜索框则会展示对应字段的值。根据业务需要，用户可以自定义设置搜索方式，添加关联关系或添加组进行搜索。
- 下拉框显示的字段为索引配置字段、结构化字段、内置保留字段。
- 且（AND）表示在多个条件中需要同时满足所有条件才能成立。
- 或（OR）表示在多个条件中只需满足其中一个条件即可。
例如在界面上选择content、hostId、pathFile字段，设置不同的条件，随时可以预览搜索语句，如有问题，可以修改搜索条件，操作简单。
在日志分析下方，设置分析规则。
1. 单击添加指标，选择统计函数作用于选定的字段，计算出用户想要的指标。
2. 分组排序是先基于用户选择的字段分组(group by)，然后分组执行指标统计，最后对结果进行排序(order by)。
  分别单击添加分组和添加排序，设置字段的分组信息和排序。
您可以根据需要设置不同的条件，随时可以预览搜索语句，如有问题，随时修改搜索条件，操作简单。设置完成后，单击“确定”，在“统计图表”页面，即可查看分析结果。更多信息请参考使用统计图表将日志可视化。

日志搜索的常用操作

日志搜索的常用操作有分享日志、刷新等操作，具体参考表1。

表1 常用操作
操作	说明
创建快速查询	单击按钮，创建快速查询。
查看仪表盘	单击按钮，在弹出来的仪表盘页面中，可查看已创建的仪表盘。
添加告警	单击按钮，在弹出的页面中，支持新建告警规则。
分享日志	单击复制当前日志搜索页面的链接，用于分享搜索日志。
刷新日志	单击对日志进行刷新，有两种方式刷新方式：手动刷新和自动刷新。手动刷新：单击“手动刷新”，可直接对日志进行刷新。自动刷新：选择自动刷新的间隔时间，将对日志进行自动刷新。间隔时间范围为15秒、30秒、1分钟和5分钟。
复制	单击复制日志内容。
查看上下文	单击查看日志上下文。支持选择简洁模式查看日志上下文。支持下载上下文内容。
更多操作	单击进入该时间段的日志详情页，查看更多日志信息。在“扩展字段”页签，查看字段名称、字段值，在对应字段操作列，支持对该字段进行添加到查询、从查询中排除、字段存在、字段不存在、隐藏的方式搜索日志。在“json格式”页签，查看日志的json格式。在“上下文日志”页签，支持设置查询行数、过滤字段、下载日志、简洁模式等操作。
换行/取消换行	单击按钮，搜索的日志内容将换行显示，默认开启换行按钮。若不需要换行，单击按钮，取消换行。
下载日志	说明：该功能仅支持白名单用户使用，如有需要，请提交工单申请开通。请确保当前日志流上传了原始日志，否则下载后文件将没有内容。鼠标悬浮在按钮上，单击“下载日志”，在弹出的下载日志页面中支持“本地下载”和“前往创建转储”。开通一次性转储后才能看到“前往创建转储”功能。本地下载：将日志文件直接下载到本地，白名单用户单次下载支持最大2,000万条日志。非白名单用户单次下载支持最大5,000条日志。在下拉框中选择“.csv”或“.txt”，单击“开始下载日志”，可将日志导出至本地。白名单用户单次下载支持最大2,000万条日志，是通过后台任务将日志文件下载到临时OBS桶中，因此日志下载成功后，云日志服务根据您实际的日志转储量进行收费。转储费用详情请参见LTS价格详情。前往创建转储（白名单功能）：通过OBS转储任务下载日志文件，单次下载支持最大2,000万条日志。单击“前往创建转储”，跳转至配置转储页面，详细请参考日志转储至OBS。日志转储成功后，云日志服务根据您实际的日志转储量进行收费。转储费用详情请参见LTS价格详情。鼠标悬浮在按钮上，单击“日志下载历史”，在日志下载历史页面，支持查看、下载、复制日志下载链接、删除日志下载记录。
全部折叠/全部展开	单击设置日志内容展示的行数。若不需要展示日志内容，再单击一次按钮即可关闭展示的日志内容。
JSON设置	鼠标悬浮在按钮上，单击“JSON设置”，在弹出的JSON设置页面中，设置格式化显示。默认开启格式化，JSON默认展开层级为2层。若日志包含多个反斜杠，当日志展示为json格式时，会丢失一个反斜杠，因为json解析会将第一个反斜杠作为转义符处理。开启格式化按钮：设置JSON默认展开层级，最大设置为10层。关闭格式化按钮：对于JSON格式的日志，将不会格式化层级显示。
日志折叠设置	鼠标悬浮在按钮上，单击“日志折叠设置”，在弹出的日志折叠设置页面中，设置长日志字符个数。日志超过设置的长日志字符个数时，超出字符将被隐藏，单击“展开”按钮可查看全部内容。默认开启自动折叠长日志，字符个数默认为400个。
日志时间展示	鼠标悬浮在按钮上，单击“日志时间展示”，在弹出的日志折叠设置页面中，默认开启展示毫秒，设置是否展示毫秒、是否展示时区。
不可见字段列表	该列表展示版面设置中配置的不可见性字段。当日志流未配置版面设置时，将不显示按钮。当日志内容为“CONFIG_FILE”且未配置版面设置时，不可见字段默认有appName、clusterId、clusterName、containerName、hostIPv6、NameSpace、podName和serviceID。