查询和管理Elasticsearch集群日志

查询日志

1. 登录云搜索服务管理控制台。
2. 在“集群管理”页面，单击需要查询日志的集群名称，进入集群基本信息页面。
3. 左侧导航栏，选择“日志管理”。
4. 在日志管理页面进行日志查询。
5. 选择需要查询的节点、日志类型和日志级别信息后，单击，显示查询结果。

   查询日志时，是从最近时刻的1万条日志中进行匹配，查询结果最多显示100条。

备份日志

日志备份可以定期将CSS集群的日志存储到OBS桶中。

1. 登录云搜索服务管理控制台。
2. 在“集群管理”页面，单击需要配置日志备份的集群名称，进入集群基本信息页面。
3. 左侧导航栏，选择“日志管理”，在“日志备份开关”右侧单击开关，打开集群的日志管理功能。
4. 在“编辑日志备份配置”弹窗中，完成参数配置。

   弹窗中默认填写了云搜索服务自动为用户创建的“OBS桶”、“备份路径”和“IAM委托”，用于日志备份。支持用户参考表1修改默认值。

   如果集群已经启用了日志备份功能，也可以单击“日志备份配置”右侧的编辑图标，在“编辑日志备份配置”窗口，参考表1更新日志备份的配置参数。

   表1 日志备份配置

   参数	说明	注意事项
   “OBS桶”	选择日志存储的OBS桶。单击右侧的“创建桶”支持新建OBS桶。	OBS桶的所在区域必须跟集群的所在区域保持一致。
   “备份路径”	填写日志在OBS桶中的存放路径。	备份路径配置规则： 备份路径不能包括符号“\:*?"<>|”。 备份路径不能以“/”开头。 备份路径不能以“.”开头或结尾。 备份路径的总长度不能超过1023个字符。
   “IAM委托”	选择IAM委托，指当前账号授权云搜索服务访问或维护存储在OBS中数据。	当首次配置委托时，可以单击“自动创建委托”新建委托“css-obs-agency”直接使用。 当已有自动创建的委托时，可以单击“委托一键授权”，删除委托中OBS Administrator系统策略的权限，新增如下自定义策略授权委托到最小化权限。 "obs:bucket:GetBucketLocation", "obs:object:GetObjectVersion", "obs:object:GetObject", "obs:object:DeleteObject", "obs:bucket:HeadBucket", "obs:bucket:GetBucketStoragePolicy", "obs:object:DeleteObjectVersion", "obs:bucket:ListBucketVersions", "obs:bucket:ListBucket", "obs:object:PutObject" “自动创建委托”和“委托一键授权”需要如下最小权限。 "iam:agencies:listAgencies", "iam:roles:listRoles", "iam:agencies:getAgency", "iam:agencies:createAgency", "iam:permissions:listRolesForAgency", "iam:permissions:grantRoleToAgency", "iam:permissions:listRolesForAgencyOnProject", "iam:permissions:revokeRoleFromAgency", "iam:roles:createRole" 使用委托需要如下最小权限。 "iam:agencies:listAgencies", "iam:agencies:getAgency", "iam:permissions:listRolesForAgencyOnProject", "iam:permissions:listRolesForAgency"

5. 备份日志。
   • 自动备份日志。

     在“自动备份开关”右侧，单击开关，开启自动备份日志功能。

     开启“自动备份开关”后，在“修改日志备份策略”弹窗中设置“备份开始时间”。设置成功后，系统会按照设置的时间进行自动备份。

     打开“自动备份开关”后，单击开关右侧的编辑图标，可以修改“备份开始时间”。

   • 手动备份日志。

     选择“日志备份”页签，单击“开始备份”，在弹出的确认提示框中单击“确定”，开始备份日志。

     日志备份列表中的“任务状态”为“Successful”时，表示日志备份成功。

   

   如果日志备份失败，可以在“日志备份”页签的右侧单击查看“失败任务数”，了解失败原因。失败任务数最多显示10条，当日志备份功能关闭或集群删除时，失败记录也会被清空。

6. 查看日志文件。

   日志备份成功后，用户可以单击“OBS桶”跳转到桶列表，找到存放备份日志的桶查看日志文件。

   图1 进入OBS
   

采集日志

日志采集可以实时将CSS集群日志存放到本集群或其他同网络的集群中，方便通过Kibana进行日志搜索分析。

1. 登录云搜索服务管理控制台。
2. 在“集群管理”页面，单击需要配置日志备份的集群名称，进入集群基本信息页面。
3. 左侧导航栏，选择“日志管理”，在“日志采集开关”右侧单击开关，打开集群的日志采集功能。
   

   如果页面上没有“日志采集开关”，则表示该集群不支持采集日志。

4. 在“日志采集配置”弹窗中，完成参数配置。

   表2 日志采集配置

   参数	说明
   索引前缀名称	设置采集的日志中索引名称的前缀，则日志采集的索引名称为“索引前缀名称+日志采集日期”，日志采集日期以天为单位。 索引前缀名称只支持数字、小写字母、下划线和中划线，支持1~128个字符。
   保留周期	设置采集的日志的保留周期，单位为天，支持输入1~3650。当采集的日志超过保存周期时，日志将会被删除。
   日志保存集群	设置采集的日志保存在哪个集群，支持选择“当前集群”和“其他集群”。 默认选择“当前集群”。当选择“其他集群”时，需要选择日志保存的目标集群，并进行集群网络连通性检查，只有在同一VPC网络下的集群才支持跨集群保存日志，且集群版本必须一致。

   如果集群已经启用了日志采集功能，也可以单击右侧的编辑图标修改日志采集配置。

5. 单击“确定”，开启集群日志采集开关。

   当“状态”变成“运行中”时，表示已启动日志采集。

   单击“访问Kibana”，登录集群，可以搜索查看日志。

   单击“日志保存集群”处的集群名称，可以跳转到集群详情页面。

   图3 日志采集
   
6. 当需要关闭日志采集时，单击“日志采集开关”右侧的开关，在弹窗中单击“确定”，关闭日志采集。

   日志采集关闭后，集群中已采集的日志不会被清空，仅当超过采集日志时设置的“保存周期”时才会被删除。

日志文件介绍

Elasticsearch和OpenSearch集群备份的日志文件主要包括废弃操作日志、运行日志、慢索引日志、慢查询日志。