查询和管理Logstash集群日志

查询日志

1. 登录云搜索服务管理控制台。
2. 在“集群管理”页面，单击需要查询日志的集群名称，进入集群基本信息页面。
3. 左侧导航栏，选择“日志管理”。
4. 在日志管理页面进行日志查询。
5. 选择需要查询的节点，单击，显示查询结果。

   查询日志时，是从最近时刻的1万条日志中进行匹配，查询结果最多显示100条。

备份日志

日志备份可以定期将CSS集群的日志存储到OBS桶中。

1. 登录云搜索服务管理控制台。
2. 在“集群管理”页面，单击需要配置日志备份的集群名称，进入集群基本信息页面。
3. 左侧导航栏，选择“日志管理”，在“日志备份开关”右侧单击开关，打开集群的日志管理功能。
4. 在“编辑日志备份配置”弹窗中，完成参数配置。

   弹窗中默认填写了云搜索服务自动为用户创建的“OBS桶”、“备份路径”和“IAM委托”，用于日志备份。支持用户参考表1修改默认值。

   如果集群已经启用了日志备份功能，也可以单击“日志备份配置”右侧的编辑图标，在“编辑日志备份配置”窗口，参考表1更新日志备份的配置参数。

   表1 日志备份配置

   参数	说明	注意事项
   “OBS桶”	选择日志存储的OBS桶。单击右侧的“创建桶”支持新建OBS桶。	OBS桶的所在区域必须跟集群的所在区域保持一致。
   “备份路径”	填写日志在OBS桶中的存放路径。	备份路径配置规则： 备份路径不能包括符号“\:*?"<>|”。 备份路径不能以“/”开头。 备份路径不能以“.”开头或结尾。 备份路径的总长度不能超过1023个字符。
   “IAM委托”	选择IAM委托，指当前账号授权云搜索服务访问或维护存储在OBS中数据。	当首次配置委托时，可以单击“自动创建委托”新建委托“css-obs-agency”直接使用。 当已有自动创建的委托时，可以单击“委托一键授权”，删除委托中OBS Administrator系统策略的权限，新增如下自定义策略授权委托到最小化权限。 "obs:bucket:GetBucketLocation", "obs:object:GetObjectVersion", "obs:object:GetObject", "obs:object:DeleteObject", "obs:bucket:HeadBucket", "obs:bucket:GetBucketStoragePolicy", "obs:object:DeleteObjectVersion", "obs:bucket:ListBucketVersions", "obs:bucket:ListBucket", "obs:object:PutObject" “自动创建委托”和“委托一键授权”需要如下最小权限。 "iam:agencies:listAgencies", "iam:roles:listRoles", "iam:agencies:getAgency", "iam:agencies:createAgency", "iam:permissions:listRolesForAgency", "iam:permissions:grantRoleToAgency", "iam:permissions:listRolesForAgencyOnProject", "iam:permissions:revokeRoleFromAgency", "iam:roles:createRole" 使用委托需要如下最小权限。 "iam:agencies:listAgencies", "iam:agencies:getAgency", "iam:permissions:listRolesForAgencyOnProject", "iam:permissions:listRolesForAgency"

5. 备份日志。
   • 自动备份日志。

     在“自动备份开关”右侧，单击开关，开启自动备份日志功能。

     开启“自动备份开关”后，在“修改日志备份策略”弹窗中设置“备份开始时间”。设置成功后，系统会按照设置的时间进行自动备份。

     打开“自动备份开关”后，单击开关右侧的编辑图标，可以修改“备份开始时间”。

   • 手动备份日志。

     选择“日志备份”页签，单击“开始备份”，在弹出的确认提示框中单击“确定”，开始备份日志。

     日志备份列表中的“任务状态”为“Successful”时，表示日志备份成功。

   

   如果日志备份失败，可以在“日志备份”页签的右侧单击查看“失败任务数”，了解失败原因。失败任务数最多显示10条，当日志备份功能关闭或集群删除时，失败记录也会被清空。

6. 查看日志文件。

   日志备份成功后，用户可以单击“OBS桶”跳转到桶列表，找到存放备份日志的桶查看日志文件。

   图1 进入OBS
   

日志文件介绍

Logstash集群备份的日志文件主要包括废弃操作日志、运行日志。