更新时间:2025-08-22 GMT+08:00
分享

管理Logstash集群日志

CSS服务通过日志查询和日志备份功能,为用户提供全面的日志管理能力,满足不同场景下的日志处理需求,帮助用户高效定位问题、优化性能及保障系统安全。

  • 日志查询:在云搜索服务控制台的日志管理页面,用户可按节点筛选最近日志,并查看结果,适用于快速定位突发问题。
  • 日志备份:通过定期将集群日志同步至OBS桶,用户可随时下载日志文件进行深度分析。该功能支持自定义备份策略(如备份时间、存储路径等),备份日志包含运行日志、弃用操作日志等类型,满足不同场景的审计与排查需求。

计费影响

当使用日志备份功能时,备份的日志存储在OBS桶中需要额外收费,具体收费说明请参见对象存储服务计费说明

前提条件

当使用日志备份功能时,需要提前创建用于存储日志的OBS桶。OBS桶需要满足如下条件:

  • “存储类别”“标准存储”
  • “区域”须与集群所在区域相同。

查询日志

  1. 登录云搜索服务管理控制台
  2. 在左侧导航栏,选择“集群管理 > Logstash”
  3. 在集群列表,单击目标集群名称,进入集群详情页。
  4. 选择“日志管理 > 日志查询”,进入日志查询页面。

    通过选择节点或关键字查询日志,各类日志的详细说明请参见日志介绍

    当日志文件大小达到128MB或每日零点(00:00 UTC)时,系统将自动将其打包为压缩包并归档。日志查询界面仅展示未归档的日志内容。已归档的日志需通过日志备份功能获取。

备份日志

日志备份可以将集群日志同步至OBS桶,支持随时下载日志文件进行深度分析。

  1. 登录云搜索服务管理控制台
  2. 在左侧导航栏,选择“集群管理 > Logstash”
  3. 在集群列表,单击目标集群名称,进入集群详情页。
  4. 选择“日志管理 > 日志备份”,进入日志备份页面。
  5. 启用日志备份功能。
  6. 备份日志。支持自动备份日志和手动备份日志两种方式。
  7. 查看备份的日志文件。

    日志备份采用增量备份方式,备份成功后可以单击“备份路径”访问OBS桶获取全量日志文件。

    图3 访问OBS桶

    日志文件类型如表3所示,其中“clustername”是集群名称。

    表3 日志文件类型

    日志名称

    描述

    clustername_deprecation.log

    废弃操作日志文件。

    clustername-plain.log

    运行日志文件。

  8. 当不再使用日志备份功能时,支持关闭备份。

    在日志备份页面,单击“关闭备份”,在弹框中单击“确定”即可关闭日志备份功能。关闭后,备份的日志数据不会自动清理,需前往OBS控制台手动清理。

日志介绍

表4 日志介绍

日志类型

描述

使用场景

运行日志

用于记录集群中各节点的运行状况及管道的运行情况,例如源端和目标端的连通性、创建或修改管道配置情况、管道运行的错误信息等。

当您需要查看管道运行的错误信息,可查看运行日志进行排查。

废弃操作日志

用于记录弃用警告(Deprecation Warnings)的日志文件。它会在您使用了已被弃用但尚未移除的API、配置或功能时,向这个日志中写入警告信息。

废弃操作日志不支持控制台查看,但可以备份到OBS桶中查看。

当需要查看业务有没有使用过期API风险情况时,可查看废弃操作日志进行排查。

  • 运行日志

    运行日志记录了集群中各节点的运行状况及管道的运行情况。例如下面的日志,说明了目标集群连接不上,需要检查目前集群地址的正确性以及集群状态。

    图4 运行日志
    日志内容说明:
    • 1:日志产生时间。
    • 2:日志级别。包括DEBUG、INFO、WARN、ERROR等。
    • 3:生成日志的模块。
    • 4:生成日志的节点名称。
    • 5:日志的主要内容。
  • 废弃操作日志

    废弃操作日志记录了弃用警告信息。

    图5 废弃操作日志
    日志内容说明:
    • 1:日志产生时间。
    • 2:日志级别。只有DEPRECATION。
    • 3:生成日志的模块。
    • 4:日志的主要内容。此示例记录了Logstash启动的时候插件没有指定ECS兼容性版本。

相关文档