查询和管理Logstash集群日志

计费影响

当使用日志备份功能时，备份的日志存储在OBS桶中需要额外收费，具体收费说明请参见对象存储服务计费说明。

前提条件

当使用日志备份功能时，需要提前创建用于存储日志的OBS桶。OBS桶需要满足如下条件：

• “存储类别”为“标准存储”。
• “区域”须与集群所在区域相同。

查询日志

1. 登录云搜索服务管理控制台。
2. 在“集群管理”页面，单击需要查询日志的集群名称，进入集群基本信息页面。
3. 左侧导航栏，选择“日志管理”。
4. 在日志管理页面进行日志查询。
5. 选择需要查询的节点，单击，显示查询结果。

   查询日志时，是从最近时刻的1万条日志中进行匹配，查询结果最多显示100条。

   当日志文件大小达到128MB时，系统将自动将其打包为压缩包并完成归档。日志查询界面仅展示未归档的日志内容。已归档的日志需通过日志备份功能获取。

备份日志

日志备份可以定期将CSS集群的日志存储到OBS桶中。

1. 登录云搜索服务管理控制台。
2. 在“集群管理”页面，单击需要配置日志备份的集群名称，进入集群基本信息页面。
3. 左侧导航栏，选择“日志管理”，在“日志备份开关”右侧单击开关，打开集群的日志管理功能。
4. 在“编辑日志备份配置”弹窗中，完成参数配置。

   如果集群已经启用了日志备份功能，也可以单击“日志备份配置”右侧的编辑图标，更新配置参数。

   表1 日志备份配置说明

   参数	说明
   OBS桶	在下拉框中选择存储日志的OBS桶。 如果没有合适的OBS桶，可以单击“创建桶”跳转到OBS控制台创建OBS桶。具体操作请参见创建桶。 选择的OBS桶需要满足如下条件： “存储类别”为“标准存储”。 “区域”须与集群所在区域相同。
   备份路径	设置日志在OBS桶中的存放路径。 备份路径配置规则： 备份路径不能存在符号“\:*?"<>|'{}”。 备份路径不能以“/”开头。 备份路径不能以“.”开头或结尾。 备份路径不能包含两个以上连续的斜杆（/）或点（.）。 备份路径的总长度不能超过512字符。
   IAM委托	选择IAM委托，授权当前账号访问和使用OBS的权限。日志数据存储到OBS桶中，需要OBS的操作权限。 当首次配置委托时，可以单击“自动创建委托”新建委托“css_obs_agency”直接使用。 当已有自动创建的委托时，可以单击“委托一键授权”，自动删除委托中OBS Administrator系统策略的权限，并自动新增如下自定义策略授权委托到最小化权限。 "obs:bucket:GetBucketLocation", "obs:object:GetObjectVersion", "obs:object:GetObject", "obs:object:DeleteObject", "obs:bucket:HeadBucket", "obs:bucket:GetBucketStoragePolicy", "obs:object:DeleteObjectVersion", "obs:bucket:ListBucketVersions", "obs:bucket:ListBucket", "obs:object:PutObject" 当OBS桶使用SSE-KMS加密模式时，委托中需要包含KMS的权限，“自动创建委托”和“委托一键授权”会自动增加如下自定义策略授权委托到最小化权限。 "kms:cmk:create", "kms:dek:create", "kms:cmk:get", "kms:dek:decrypt", "kms:cmk:list" 执行“自动创建委托”和“委托一键授权”的用户需要如下最小权限。 "iam:agencies:listAgencies", "iam:roles:listRoles", "iam:agencies:getAgency", "iam:agencies:createAgency", "iam:permissions:listRolesForAgency", "iam:permissions:grantRoleToAgency", "iam:permissions:listRolesForAgencyOnProject", "iam:permissions:revokeRoleFromAgency", "iam:roles:createRole" 使用委托的用户需要如下最小权限。 "iam:agencies:listAgencies", "iam:agencies:getAgency", "iam:permissions:listRolesForAgencyOnProject", "iam:permissions:listRolesForAgency" 警告： 委托名称必须仅包含字符a-z、A-Z、0-9、下划线（_）和短横线（-），否则会备份失败。

5. 备份日志。
   • 自动备份日志。

     在“自动备份开关”右侧，单击开关，开启自动备份日志功能。

     开启“自动备份开关”后，在“修改日志备份策略”弹窗中设置“备份开始时间”。设置成功后，系统会按照设置的时间进行自动备份。

     打开“自动备份开关”后，单击开关右侧的编辑图标，可以修改“备份开始时间”。

   • 手动备份日志。

     选择“日志备份”页签，单击“开始备份”，在弹出的确认提示框中单击“确定”，开始备份日志。

     日志备份列表中的“任务状态”为“Successful”时，表示日志备份成功。

   说明：

   如果日志备份失败，可以在“日志备份”页签的右侧单击查看“失败任务数”，了解失败原因。失败任务数最多显示10条，当日志备份功能关闭或集群删除时，失败记录也会被清空。

6. 查看日志文件。

   日志备份采用增量备份方式，备份成功后可以访问OBS桶获取全量日志文件。日志文件类型如表2所示，其中“clustername”是集群名称。

   图1 访问OBS桶
   

   表2 日志文件类型

   日志名称	描述
   clustername_deprecation.log	废弃操作日志文件。
   clustername-plain.log	运行日志文件。

日志介绍

表3 日志介绍

日志类型	描述	使用场景
运行日志	用于记录集群中各节点的运行状况及管道的运行情况，例如源端和目标端的连通性、创建或修改管道配置情况、管道运行的错误信息等。	当您需要查看管道运行的错误信息，可查看运行日志进行排查。
废弃操作日志	用于记录弃用警告（Deprecation Warnings）的日志文件。它会在您使用了已被弃用但尚未移除的API、配置或功能时，向这个日志中写入警告信息。 废弃操作日志不支持控制台查看，但可以备份到OBS桶中查看。	当需要查看业务有没有使用过期API风险情况时，可查看废弃操作日志进行排查。

• 运行日志

  运行日志记录了集群中各节点的运行状况及管道的运行情况。例如下面的日志，说明了目标集群连接不上，需要检查目前集群地址的正确性以及集群状态。

  图2 运行日志
  
  日志内容说明：

  • 1：日志产生时间。
  • 2：日志级别。包括DEBUG、INFO、WARN、ERROR等。
  • 3：生成日志的模块。
  • 4：生成日志的节点名称。
  • 5：日志的主要内容。
• 废弃操作日志

  废弃操作日志记录了弃用警告信息。

  图3 废弃操作日志
  
  日志内容说明：

  • 1：日志产生时间。
  • 2：日志级别。包括DEBUG、INFO、WARN、ERROR、DEPRECATION等。
  • 3：生成日志的模块。
  • 4：日志的主要内容。此示例记录了Logstash启动的时候插件没有指定ECS兼容性版本。