管理Elasticsearch集群日志

计费影响

当使用日志备份功能时，备份的日志存储在OBS桶中需要额外收费，具体收费说明请参见《OBS用户指南》的计费说明。

前提条件

当使用日志备份功能时，需要提前创建用于存储日志的OBS桶。OBS桶需要满足如下条件：

• “存储类别”为“标准存储”。
• “区域”须与集群所在区域相同。

查询日志

1. 登录云搜索服务管理控制台。
2. 在左侧导航栏，选择“集群管理 > Elasticsearch”。
3. 在集群列表，单击目标集群名称，进入集群详情页。
4. 选择“日志管理 > 日志查询”，进入日志查询页面。

   通过选择日志类型、节点、日志级别或关键字查询日志，各类日志的详细说明请参见日志介绍。

   当日志文件大小达到128MB或每日零点（00:00 UTC）时，系统将自动将其打包为压缩包并归档。日志查询界面仅展示未归档的日志内容。已归档的日志需通过日志备份功能获取。

备份日志

日志备份可以将集群日志同步至OBS桶，支持随时下载日志文件进行深度分析。

1. 登录云搜索服务管理控制台。
2. 在左侧导航栏，选择“集群管理 > Elasticsearch”。
3. 在集群列表，单击目标集群名称，进入集群详情页。
4. 选择“日志管理 > 日志备份”，进入日志备份页面。
5. 启用日志备份功能。

   参考如下步骤启用日志备份功能，如果已开启则跳过该步骤。

   1. 单击“开启备份”，在开启备份对话框中完成日志备份配置。

      表1 日志备份配置说明

      参数	说明
      OBS桶	在下拉框中选择存储日志的OBS桶。 如果没有合适的OBS桶，可以单击“创建桶”跳转到OBS控制台创建OBS桶。 如果是子账号，需要同时设置GetBucketStoragePolicy、GetBucketLocation、ListBucket、ListAllMyBuckets权限，才能看到OBS桶。
      备份路径	设置日志在OBS桶中的存放路径。 备份路径配置规则： 备份路径不能存在符号“\:*?"<>|'{}”。 备份路径不能以“/”开头。 备份路径不能以“.”开头或结尾。 备份路径不能包含两个以上连续的斜杆（/）或点（.）。 备份路径的总长度不能超过512字符。
      IAM委托	将数据备份到OBS桶需要当前账号具备该OBS桶的写入权限。通过配置IAM委托，使当前账号授权CSS服务访问其拥有的OBS资源。 当首次配置委托时，可以单击“自动创建委托”新建委托“css_obs_agency”直接使用。 当已有自动创建的委托时，可以单击“委托一键授权”，自动删除委托中OBS Administrator系统策略的权限，并自动新增如下自定义策略授权委托到最小化权限。 "obs:bucket:GetBucketLocation", "obs:object:GetObjectVersion", "obs:object:GetObject", "obs:object:DeleteObject", "obs:bucket:HeadBucket", "obs:bucket:GetBucketStoragePolicy", "obs:object:DeleteObjectVersion", "obs:bucket:ListBucketVersions", "obs:bucket:ListBucket", "obs:object:PutObject" 当OBS桶使用SSE-KMS加密模式时，委托中需要包含KMS的权限，“自动创建委托”和“委托一键授权”会自动增加如下自定义策略授权委托到最小化权限。 "kms:cmk:create", "kms:dek:create", "kms:cmk:get", "kms:dek:decrypt", "kms:cmk:list" 执行“自动创建委托”和“委托一键授权”的用户需要如下最小权限。 "iam:agencies:listAgencies", "iam:roles:listRoles", "iam:agencies:getAgency", "iam:agencies:createAgency", "iam:permissions:listRolesForAgency", "iam:permissions:grantRoleToAgency", "iam:permissions:listRolesForAgencyOnProject", "iam:permissions:revokeRoleFromAgency", "iam:roles:createRole" 使用委托的用户需要如下最小权限。 "iam:agencies:listAgencies", "iam:agencies:getAgency", "iam:permissions:listRolesForAgencyOnProject", "iam:permissions:listRolesForAgency" 警告： 委托名称必须仅包含字符a-z、A-Z、0-9、下划线（_）和短横线（-），否则会备份失败。

      “自动备份”选项请根据业务需要决定是否启用。

      • 需要定期自动备份日志，则勾选“自动备份”选项，并参考表2配置自动备份策略。
      • 手动备份日志即可满足业务需求，则取消勾选“自动备份”选项。
   2. 配置完成后，单击“确定”，启用日志备份功能。

      此时，日志备份页面会显示配置信息。

6. 备份日志。支持自动备份日志和手动备份日志两种方式。

   自动备份日志：根据预设的时间策略定期执行日志备份。

   1. 在日志备份页面，单击右侧的“修改配置”。
   2. 在修改配置对话框中勾选“自动备份”选项，并完成自动备份策略的配置。

      表2 自动备份配置说明

      参数	说明
      时区	指定备份时间对应的时区，基于此时区选择备份开始时间。
      备份开始时间	指定自动备份的开始时间。 请在下拉框中选择时间。时间的取值范围是“00:00”～“23:00”，只能指定整点时间。

   3. 配置完成后，单击“确定”，启用自动备份日志功能。

      按照备份策略自动备份的日志将呈现在日志备份任务列表，当“任务状态”为“已完成”时，表示备份完成。

   4. 如果后续无需自动备份，则单击“修改配置”，在对话框中取消勾选“自动备份”选项，单击“确定”，在弹框中确认信息，单击“确定”，关闭自动备份。

      关闭后，自动备份的日志数据不会自动清理，需前往OBS控制台手动清理数据。

   手动备份日志：即时开始日志备份。

   1. 在日志备份页面，单击下方的“手动备份日志”。
   2. 在手动备份日志弹框中确认备份路径，单击“确定”，开始备份日志。

      备份的日志将呈现在日志备份任务列表，当“任务状态”为“已完成”时，表示备份完成。

7. 查看备份的日志文件。

   日志备份采用增量备份方式，备份成功后可以单击“备份路径”访问OBS桶获取全量日志文件。

   日志文件类型如表3所示，其中“clustername”是集群名称。

   表3 日志文件类型

   日志名称	描述
   clustername_deprecation.log	废弃操作日志文件。
   clustername_index_indexing_slowlog.log	慢索引日志文件。
   clustername_index_search_slowlog.log	慢查询日志文件。
   clustername.log	运行日志文件。
   clustername_access.log	接入日志文件。

8. 当不再使用日志备份功能时，支持关闭备份。

   在日志备份页面，单击“关闭备份”，在弹框中单击“确定”即可关闭日志备份功能。关闭后，备份的日志数据不会自动清理，需前往OBS控制台手动清理。

日志介绍

• 运行日志说明

  运行日志记录了集群的运行状态和写入查询的关键信息等。例如下面的日志，表示创建了一个名为test的索引，创建完后集群状态由YELLOW变成GREEN。

  图1 运行日志
  
  日志内容说明：

  • 1：日志产生时间。
  • 2：日志级别。包括DEBUG、INFO、WARN、ERROR等。
  • 3：生成日志的模块。
  • 4：生成日志的节点名称。
  • 5：日志的主要内容。
• 慢索引日志说明

  慢索引日志记录了索引操作中执行时间较长的操作。例如下面的日志，展示了索引请求耗时超过设定阈值的请求记录，包括了索引名称、耗时、请求内容等。

  图2 慢索引日志
  
  日志内容说明：

  • 1：日志产生时间。

  • 2：日志级别。包括DEBUG、INFO、WARN、ERROR等。
  • 3：生成日志的模块。
  • 4：生成日志的节点名称。
  • 5：索引名称和ID。
  • 6：日志的主要内容。此示例记录了执行耗时、索引类型、索引请求体等信息。
• 慢查询日志

  慢查询日志记录了执行时间较长的搜索请求。例如下面的日志，展示了查询请求耗时超过设定阈值的请求记录，包括了索引名称、耗时、请求内容等。

  图3 慢查询日志
  
  日志内容说明：

  • 1：日志产生时间。
  • 2：日志级别。包括DEBUG、INFO、WARN、ERROR等。
  • 3：生成日志的模块。
  • 4：生成日志的节点名称。
  • 5：索引名称和分片ID。
  • 6：日志的主要内容。此示例记录了执行耗时、查询命中数量、查询请求体等信息。
• 废弃操作日志

  废弃操作日志记录了弃用警告信息。例如下面的日志，表示GET /_cat/master已经废弃，请使用GET /_cat/cluster_manager替代。

  图4 废弃操作日志
  
  日志内容说明：

  • 1：日志产生时间。
  • 2：日志级别。只有DEPRECATION。
  • 3：生成日志的模块。
  • 4：生成日志的节点名称。
  • 5：日志的主要内容。
• 接入日志

  接入日志记录了访问集群的请求和地址信息，例如下面的日志表示执行了/_snapshot/my_backup/my_snapshot/_restore?pretty=true操作的信息。

  图5 接入日志
  
  日志内容说明：

  • 1：日志产生时间。
  • 2：日志发生的节点名称。
  • 3：生成日志的线程名称。
  • 4：日志级别，包括DEBUG、INFO、WARN、ERROR等。
  • 5：日志的请求方法。
  • 6：发送的请求路径。
  • 7：发送请求的源和目标地址。

FAQ：如何更新日志级别？

Elasticsearch集群使用Log4j2作为日志组件，支持多种日志级别（ERROR、WARN、INFO、DEBUG、TRACE），默认为INFO级别。为便于问题定位和系统调试，您可动态调整日志级别。

• 日志级别按详细程度递增，INFO为默认级别，会记录包含ERROR、WARN及以上级别的日志，过滤掉DEBUG和TRACE日志。
• 通过Elasticsearch API可实时修改指定模块的日志级别。

操作示例

1. 登录Kibana进入命令执行页面。Elasticsearch集群支持多种客户端访问，本文仅以CSS服务集成的Kibana为例介绍配置指导。
   1. 登录云搜索服务管理控制台。
   2. 在左侧导航栏，选择“集群管理 > Elasticsearch”。
   3. 在集群列表，选择目标集群，单击操作列的“Kibana”，登录Kibana。
   4. 在Kibana左侧导航栏选择“Dev Tools”，进入操作页面。

      控制台左侧是命令输入框，其右侧的三角形图标为执行按钮，右侧区域则显示执行结果。

2. 执行如下命令，调整action模块的日志级别为DEBUG。

   PUT _cluster/settings
   {
     "persistent": {
       "logger": {
         "org.elasticsearch.action": "DEBUG"
       }
     }
   }

3. 执行如下命令，恢复默认日志级别（INFO）。

   PUT _cluster/settings
   {
     "persistent": {
       "logger": {
         "org.elasticsearch.action": null
       }
     }
   }

FAQ：如何开启Trace日志？

为便于问题定位和接口访问分析，您可以开启HTTP/Transport模块Trace日志并查看详细的Trace日志。

开启Trace日志为临时性配置，集群重启后失效。

操作指导

1. 登录Kibana进入命令执行页面。Elasticsearch集群支持多种客户端访问，本文仅以CSS服务集成的Kibana为例介绍配置指导。
   1. 登录云搜索服务管理控制台。
   2. 在左侧导航栏，选择“集群管理 > Elasticsearch”。
   3. 在集群列表，选择目标集群，单击操作列的“Kibana”，登录Kibana。
   4. 在Kibana左侧导航栏选择“Dev Tools”，进入操作页面。

      控制台左侧是命令输入框，其右侧的三角形图标为执行按钮，右侧区域则显示执行结果。

2. 执行如下命令，开启Trace日志。

   PUT _cluster/settings
   {
     "transient": {
       "logger.org.elasticsearch.transport.TransportService.tracer": "trace",
       "transport.tracer.include": "",
       "http.tracer.include": "",
       "logger.org.elasticsearch.http.HttpTracer": "trace"
     }
   }

3. 进入日志查询页面查看Trace日志。
   1. 在集群列表，单击目标集群名称，进入集群详情页。
   2. 选择“日志管理 > 日志查询”，进入日志查询页面。
   3. 日志级别选择全部（必须全选），查看“日志级别”是“TRACE”的日志信息。

相关文档

CSS服务中如何设置Elasticsearch集群慢查询日志的阈值？