文档首页/ 云搜索服务 CSS/ 用户指南/ 使用Elasticsearch搜索数据/ Elasticsearch集群监控与日志管理/ 管理Elasticsearch集群日志
更新时间：2025-09-05 GMT+08:00
查看PDF
分享

管理Elasticsearch集群日志

CSS服务通过日志查询、日志备份和日志采集三大核心功能，为用户提供全面的日志管理能力，满足不同场景下的日志处理需求，帮助用户高效定位问题、优化性能及保障系统安全。

  • 日志查询：在云搜索服务管理控制台的日志管理页面，用户可按节点、日志类型等条件筛选最近日志，并查看结果，适用于快速定位突发问题。
  • 日志备份：通过定期将集群日志同步至OBS桶，用户可随时下载日志文件进行深度分析。该功能支持自定义备份策略（如备份时间、存储路径等），备份日志包含运行日志、慢查询日志、弃用操作日志等类型，满足不同场景的审计与排查需求。
  • 日志采集：实时将集群日志传输至当前集群或同网络的其他集群（需满足版本及网络兼容性要求），通过Kibana或其他工具实现日志的可视化搜索与分析。用户可设置索引前缀、保留周期等，灵活管理日志生命周期。采集日志支持跨集群分发，便于多集群环境下的集中监控。

计费影响

当使用日志备份功能时，备份的日志存储在OBS桶中需要额外收费，具体收费说明请参见对象存储服务计费说明。

前提条件

当使用日志备份功能时，需要提前创建用于存储日志的OBS桶。OBS桶需要满足如下条件：

  • “存储类别”为“标准存储”。
  • “区域”须与集群所在区域相同。

查询日志

  1. 登录云搜索服务管理控制台。
  2. 在左侧导航栏，选择“集群管理 > Elasticsearch”。
  3. 在集群列表，单击目标集群名称，进入集群详情页。
  4. 选择“日志管理 > 日志查询”，进入日志查询页面。

    通过选择日志类型、节点、日志级别或关键字查询日志，各类日志的详细说明请参见日志介绍。

    当日志文件大小达到128MB或每日零点（00:00 UTC）时，系统将自动将其打包为压缩包并归档。日志查询界面仅展示未归档的日志内容。已归档的日志需通过日志备份功能获取。

备份日志

日志备份可以将集群日志同步至OBS桶，支持随时下载日志文件进行深度分析。

  1. 登录云搜索服务管理控制台。
  2. 在左侧导航栏，选择“集群管理 > Elasticsearch”。
  3. 在集群列表，单击目标集群名称，进入集群详情页。
  4. 选择“日志管理 > 日志备份”，进入日志备份页面。
  5. 启用日志备份功能。

    参考如下步骤启用日志备份功能，如果已开启则跳过该步骤。

    1. 单击“开启备份”，在开启备份对话框中完成日志备份配置。
      表1 日志备份配置说明

      参数

      说明

      OBS桶

      在下拉框中选择存储日志的OBS桶。

      如果没有合适的OBS桶，可以单击“创建桶”跳转到OBS控制台创建OBS桶。具体操作请参见创建桶。

      备份路径

      设置日志在OBS桶中的存放路径。

      备份路径配置规则：
      • 备份路径不能存在符号“\:*?"<>|'{}”。
      • 备份路径不能以“/”开头。
      • 备份路径不能以“.”开头或结尾。
      • 备份路径不能包含两个以上连续的斜杆（/）或点（.）。
      • 备份路径的总长度不能超过512字符。

      IAM委托
      将数据备份到OBS桶需要当前账号具备该OBS桶的写入权限。通过配置IAM委托，使当前账号授权CSS服务访问其拥有的OBS资源。
      • 当首次配置委托时，可以单击“自动创建委托”新建委托“css_obs_agency”直接使用。
      • 当已有自动创建的委托时，可以单击“委托一键授权”，自动删除委托中OBS Administrator系统策略的权限，并自动新增如下自定义策略授权委托到最小化权限。 
        "obs:bucket:GetBucketLocation",
"obs:object:GetObjectVersion",
"obs:object:GetObject",
"obs:object:DeleteObject",
"obs:bucket:HeadBucket",
"obs:bucket:GetBucketStoragePolicy",
"obs:object:DeleteObjectVersion",
"obs:bucket:ListBucketVersions",
"obs:bucket:ListBucket",
"obs:object:PutObject"
      • 当OBS桶使用SSE-KMS加密模式时，委托中需要包含KMS的权限，“自动创建委托”和“委托一键授权”会自动增加如下自定义策略授权委托到最小化权限。 
        "kms:cmk:create",
"kms:dek:create",
"kms:cmk:get",
"kms:dek:decrypt",
"kms:cmk:list"
      • 执行“自动创建委托”和“委托一键授权”的用户需要如下最小权限。 
        "iam:agencies:listAgencies",
"iam:roles:listRoles",
"iam:agencies:getAgency",
"iam:agencies:createAgency",
"iam:permissions:listRolesForAgency",
"iam:permissions:grantRoleToAgency",
"iam:permissions:listRolesForAgencyOnProject",
"iam:permissions:revokeRoleFromAgency",
"iam:roles:createRole"
      • 使用委托的用户需要如下最小权限。 
        "iam:agencies:listAgencies",
"iam:agencies:getAgency",
"iam:permissions:listRolesForAgencyOnProject",
"iam:permissions:listRolesForAgency"
      警告：

      委托名称必须仅包含字符a-z、A-Z、0-9、下划线（_）和短横线（-），否则会备份失败。
      “自动备份”选项请根据业务需要决定是否启用。
      • 需要定期自动备份日志，则勾选“自动备份”选项，并参考表2配置自动备份策略。
      • 手动备份日志即可满足业务需求，则取消勾选“自动备份”选项。
    2. 配置完成后，单击“确定”，启用日志备份功能。

      此时，日志备份页面会显示配置信息。

  6. 备份日志。支持自动备份日志和手动备份日志两种方式。

    自动备份日志：根据预设的时间策略定期执行日志备份。

    1. 在日志备份页面，单击右侧的“修改配置”。
      图1 修改配置
    2. 在修改配置对话框中勾选“自动备份”选项，并完成自动备份策略的配置。
      表2 自动备份配置说明

      参数

      说明

      时区

      指定备份时间对应的时区，基于此时区选择备份开始时间。

      备份开始时间

      指定自动备份的开始时间。

      请在下拉框中选择时间。时间的取值范围是“00:00”～“23:00”，只能指定整点时间。
    3. 配置完成后，单击“确定”，启用自动备份日志功能。

      按照备份策略自动备份的日志将呈现在日志备份任务列表，当“任务状态”为“已完成”时，表示备份完成。

      如果日志备份失败，可以单击“失败任务数”，在弹窗中查看失败原因。失败任务数最多显示10条，当日志备份功能关闭或集群删除时，失败记录也会被清空。

    4. 如果后续无需自动备份，则单击“修改配置”，在对话框中取消勾选“自动备份”选项，单击“确定”，在弹框中确认信息，单击“确定”，关闭自动备份。

      关闭后，自动备份的日志数据不会自动清理，需前往OBS控制台手动清理数据。

    手动备份日志：即时开始日志备份。

    1. 在日志备份页面，单击下方的“手动备份日志”。
      图2 手动备份日志
    2. 在手动备份日志弹框中确认备份路径，单击“确定”，开始备份日志。

      备份的日志将呈现在日志备份任务列表，当“任务状态”为“已完成”时，表示备份完成。

      如果日志备份失败，可以单击“失败任务数”，在弹窗中查看失败原因。失败任务数最多显示10条，当日志备份功能关闭或集群删除时，失败记录也会被清空。

  7. 查看备份的日志文件。

    日志备份采用增量备份方式，备份成功后可以单击“备份路径”访问OBS桶获取全量日志文件。

    图3 访问OBS桶

    日志文件类型如表3所示，其中“clustername”是集群名称。

    表3 日志文件类型

    日志名称

    描述

    clustername_deprecation.log

    废弃操作日志文件。

    clustername_index_indexing_slowlog.log

    慢索引日志文件。

    clustername_index_search_slowlog.log

    慢查询日志文件。

    clustername.log

    运行日志文件。

    clustername_access.log

    接入日志文件。
  8. 当不再使用日志备份功能时，支持关闭备份。

    在日志备份页面，单击“关闭备份”，在弹框中单击“确定”即可关闭日志备份功能。关闭后，备份的日志数据不会自动清理，需前往OBS控制台手动清理。

采集日志

日志采集可以实时将集群日志传输至当前集群或同网络的其他集群，方便通过Kibana进行日志搜索分析。

仅当Elasticsearch集群版本号为7.10.2且镜像版本号不低于7.10.2_24.2.0_x.x.x时，才支持日志采集功能。

  1. 登录云搜索服务管理控制台。
  2. 在左侧导航栏，选择“集群管理 > Elasticsearch”。
  3. 在集群列表，单击目标集群名称，进入集群详情页。
  4. 选择“日志管理 > 日志采集”，进入日志采集页面。

    如果没有“日志采集”页签，则表示该集群不支持采集日志。

  5. 启用日志采集功能。如果已开启则跳过该步骤。
    1. 单击“开启日志采集”，在开启日志采集对话框中完成日志采集配置。
      表4 日志采集配置说明

      参数

      说明

      索引前缀名称

      设置采集的日志中索引名称的前缀，设置后采集的日志索引名称为“索引前缀名称+日志采集日期”，日志采集日期以天为单位。

      索引前缀名称只支持数字、小写字母、下划线和中划线，支持1~128个字符。

      保留周期

      设置采集的日志的保留周期。当采集的日志超过保存周期时，日志将会被删除。

      取值范围：1~3650

      单位：天

      日志保存集群

      设置采集的日志保存在哪个集群，支持选择“当前集群”和“其他集群”。

      • 当前集群：采集的日志保存在当前集群。
      • 其他集群：采集的日志保存在其他集群。

        需要在“集群”下拉框中选择日志保存的目标集群。仅支持保存到同版本且同一VPC网络下的集群中。

        选择其他集群后，需要单击“一键检查”校验集群间的网络连通性，当显示“当前集群可用”时才能进行日志采集。
    2. 配置完成后，单击“确定”，启用日志采集功能。

      此时，日志采集页面会显示配置信息。

  6. 查看采集的日志。

    当“状态”变成“运行中”时，表示已启动日志实时采集。

    图4 查看采集的日志
    • 单击“访问Kibana”，可用直接登录目标集群，搜索查看日志。
    • 单击“日志保存集群”的集群名称，可以跳转到目标集群详情页面。
  7. 当不再使用日志采集功能时，支持关闭日志采集，释放存储资源。

    在日志采集页面，单击“关闭日志采集”，在弹框中单击“确定”即可停止日志采集任务。关闭后，已采集的日志数据不会立即被清空，仅当超过设置的“保存周期”时才会被系统删除，这之前也支持前往目标集群手动删除。

日志介绍

表5 日志介绍

日志类型

描述

使用场景

运行日志

运行日志也称为主日志，记录了集群的运行状态和写入查询的关键信息等。例如，写入相关日志包含创建索引、更新索引mapping和写入队列打满等日志；查询相关日志包含查询队列和查询异常等日志。

当需要查看集群中各节点的运行状况及查询写入情况，例如节点之间的连通性、Full GC情况、创建或删除索引情况、集群级别的查询报错等信息时，可查看主日志进行排查。

慢索引日志

用于记录慢索引请求的日志文件，主要用于记录索引操作（如bulk、index、update、delete）中执行时间较长的操作，帮助您发现性能瓶颈。

当业务出现写入耗时久的情况时，可查看慢索引日志进行排查。

慢查询日志

用于记录慢查询请求的日志文件，主要用于监控和分析执行时间较长的搜索请求。它可以帮助您识别性能瓶颈、优化查询语句、提升系统整体性能。

当您的业务出现查询耗时久的情况时，可查看慢查询日志进行排查。

废弃操作日志

用于记录弃用警告（Deprecation Warnings）的日志文件。它会在您使用了已被弃用但尚未移除的API、配置或功能时，向这个日志中写入警告信息。

当需要查看业务有没有使用过期API风险情况时，可查看废弃操作日志进行排查。

接入日志

用于记录访问集群的请求信息，主要记录请求Path、访问地址等信息。

接入日志不支持控制台查看，但可以备份到OBS桶或采集到集群中查看。

当业务出现大量的请求，需要定位请求来源和请求路径时，可查看接入日志查看集群访问信息。
  • 运行日志说明

    运行日志记录了集群的运行状态和写入查询的关键信息等。例如下面的日志，表示创建了一个名为test的索引，创建完后集群状态由YELLOW变成GREEN。

    图5 运行日志
    日志内容说明：
    • 1：日志产生时间。
    • 2：日志级别。包括DEBUG、INFO、WARM、ERROR等。
    • 3：生成日志的模块。
    • 4：生成日志的节点名称。
    • 5：日志的主要内容。
  • 慢索引日志说明

    慢索引日志记录了记录索引操作中执行时间较长的操作。例如下面的日志，展示了索引请求耗时超过设定阈值的请求记录，包括了索引名称、耗时、请求内容等。

    图6 慢索引日志
    日志内容说明：

    • 1：日志产生时间。

    • 2：日志级别。包括DEBUG、INFO、WARM、ERROR等。
    • 3：生成日志的模块。
    • 4：生成日志的节点名称。
    • 5：索引名称和ID。
    • 6：日志的主要内容。此示例记录了执行耗时、索引类型、索引请求体等信息。
  • 慢查询日志

    慢查询日志记录了执行时间较长的搜索请求。例如下面的日志，展示了查询请求耗时超过设定阈值的请求记录，包括了索引名称、耗时、请求内容等。

    图7 慢查询日志
    日志内容说明：
    • 1：日志产生时间。
    • 2：日志级别。包括DEBUG、INFO、WARM、ERROR等。
    • 3：生成日志的模块。
    • 4：生成日志的节点名称。
    • 5：索引名称和分片ID。
    • 6：日志的主要内容。此示例记录了执行耗时、查询命中数量、查询请求体等信息。
  • 废弃操作日志

    废弃操作日志记录了弃用警告信息。例如下面的日志，表示GET /_cat/master已经废弃，请使用GET /_cat/cluster_manager替代。

    图8 废弃操作日志
    日志内容说明：
    • 1：日志产生时间。
    • 2：日志级别。只有DEPRECATION。
    • 3：生成日志的模块。
    • 4：生成日志的节点名称。
    • 5：日志的主要内容。
  • 接入日志

    接入日志记录了访问集群的请求和地址信息，例如下面的日志表示执行了/_snapshot/my_backup/my_snapshot/_restore?pretty=true操作的信息。

    图9 接入日志
    日志内容说明：
    • 1：日志产生时间。
    • 2：日志发生的节点名称。
    • 3：生成日志的线程名称。
    • 4：日志级别，包括DEBUG、INFO、WARM、ERROR等。
    • 5：日志的请求方法。
    • 6: 发送的请求路径。
    • 7：发送请求的源和目标地址。

相关文档

CSS服务中如何设置Elasticsearch集群慢查询日志的阈值？