查询日志
在利用Logstash进行大规模数据迁移或实时日志采集的过程中,您可能会遇到管道配置错误、源端与目的端连接异常或处理逻辑报错等突发情况,导致数据流中断。CSS服务提供的日志查询功能,将服务器底层日志聚合到控制台,支持按节点和关键词秒级检索。通过直观查看近期日志,您可以实时洞察管道内每个环节的状态,精准定位连接超时或配置语法等异常根因。
查询近期日志
查看集群节点最近产生且未归档的原始日志。
- 登录云搜索服务管理控制台。
- 在左侧导航栏,选择“集群管理 > Logstash”。
- 在集群列表,单击目标集群名称,进入集群详情页。
- 选择“日志管理 > 日志查询”,进入日志查询页面。
通过选择节点或关键字查询日志,各类日志的详细说明请参见日志类型介绍。
日志文件达到128MB或每日零点(00:00 UTC),系统会自动将日志打包为压缩包并归档。日志查询界面仅展示未归档的日志内容。已归档的日志需通过日志备份功能获取,操作指导请参见备份日志至OBS。
日志类型介绍
| 日志类型 | 描述 | 使用场景 |
|---|---|---|
| 运行日志 | 用于记录集群中各节点的运行状况及管道的运行情况,例如源端和目标端的连通性、创建或修改管道配置情况、管道运行的错误信息等。 | 当您需要查看管道运行的错误信息,可查看运行日志进行排查。 |
| 废弃操作日志 | 用于记录弃用警告(Deprecation Warnings)的日志文件。它会在您使用了已被弃用但尚未移除的API、配置或功能时,向这个日志中写入警告信息。 废弃操作日志不支持控制台查看,但可以备份到OBS桶中查看。 | 当需要查看业务有没有使用过期API风险情况时,可查看废弃操作日志进行排查。 |
- 运行日志
运行日志记录了集群中各节点的运行状况及管道的运行情况。例如下面的日志,说明了目标集群连接不上,需要检查目前集群地址的正确性以及集群状态。
图1 运行日志
日志内容说明:- 1:日志产生时间。
- 2:日志级别。包括DEBUG、INFO、WARN、ERROR等。
- 3:生成日志的模块。
- 4:生成日志的节点名称。
- 5:日志的主要内容。
- 废弃操作日志
废弃操作日志记录了弃用警告信息。
图2 废弃操作日志
日志内容说明:- 1:日志产生时间。
- 2:日志级别。只有DEPRECATION。
- 3:生成日志的模块。
- 4:日志的主要内容。此示例记录了Logstash启动的时候插件没有指定ECS兼容性版本。