备份日志至OBS
在日常运维中,通过控制台实时查询日志是定位突发故障的一种方式,但受限于集群本地存储容量,系统会自动对超过128MB或跨天的历史日志进行归档,导致无法在即时查询界面直接检索,且难以满足日志长期留存的合规审计要求。为了解决历史日志回溯难与存储成本高的矛盾,CSS服务提供了日志备份功能,支持将运行日志及废弃操作日志按预设策略增量同步至对象存储服务(OBS)。这一方案不仅利用OBS海量、低成本的存储优势实现了日志的长效留存,还支持用户随时下载历史日志文件进行深度离线分析。
计费影响
备份到OBS桶中的日志将按标准存储类别计费,收费说明请参见对象存储服务计费说明。
前提条件
提前创建用于存储日志的OBS桶。OBS桶需要满足如下条件:
- “存储类别”为“标准存储”。
- “区域”须与集群所在区域相同。
启用日志备份功能
- 登录云搜索服务管理控制台。
- 在左侧导航栏,选择“集群管理 > Logstash”。
- 在集群列表,单击目标集群名称,进入集群详情页。
- 选择“日志管理 > 日志备份”,进入日志备份页面。
查看集群是否启用日志备份功能。
- 是,则无需操作。
- 否,则执行下一步。
- 在日志备份页面,单击“开启备份”,在对话框中完成开启备份配置。
表1 日志备份配置说明 参数
说明
OBS桶
在下拉框中选择存储日志的OBS桶。
如果没有合适的OBS桶,可以单击“创建桶”跳转到OBS控制台创建OBS桶。具体操作请参见创建桶。
备份路径
设置日志在OBS桶中的存放路径。
备份路径配置规则:- 备份路径不能存在符号“\:*?"<>|'{}”。
- 备份路径不能以“/”开头。
- 备份路径不能以“.”开头或结尾。
- 备份路径不能包含两个以上连续的斜杆(/)或点(.)。
- 备份路径的总长度不能超过512字符。
IAM委托
将数据备份到OBS桶需要当前账号具备该OBS桶的写入权限。通过配置IAM委托,使当前账号授权CSS服务访问其拥有的OBS资源。- 当首次配置委托时,可以单击“自动创建委托”新建委托“css_obs_agency”直接使用。
- 当已有自动创建的委托时,可以单击“委托一键授权”,自动删除委托中OBS Administrator系统策略的权限,并自动新增如下自定义策略授权委托到最小化权限。
"obs:bucket:GetBucketLocation", "obs:object:GetObjectVersion", "obs:object:GetObject", "obs:object:DeleteObject", "obs:bucket:HeadBucket", "obs:bucket:GetBucketStoragePolicy", "obs:object:DeleteObjectVersion", "obs:bucket:ListBucketVersions", "obs:bucket:ListBucket", "obs:object:PutObject"
- 当OBS桶使用SSE-KMS加密模式时,委托中需要包含KMS的权限,“自动创建委托”和“委托一键授权”会自动增加如下自定义策略授权委托到最小化权限。
"kms:cmk:create", "kms:dek:create", "kms:cmk:get", "kms:dek:decrypt", "kms:cmk:list"
- 执行“自动创建委托”和“委托一键授权”的用户需要如下最小权限。
"iam:agencies:listAgencies", "iam:roles:listRoles", "iam:agencies:getAgency", "iam:agencies:createAgency", "iam:permissions:listRolesForAgency", "iam:permissions:grantRoleToAgency", "iam:permissions:listRolesForAgencyOnProject", "iam:permissions:revokeRoleFromAgency", "iam:roles:createRole"
- 使用委托的用户需要如下最小权限。
"iam:agencies:listAgencies", "iam:agencies:getAgency", "iam:permissions:listRolesForAgencyOnProject", "iam:permissions:listRolesForAgency"
警告:委托名称必须仅包含字符a-z、A-Z、0-9、下划线(_)和短横线(-),否则会备份失败。
“自动备份”选项请根据业务需要决定是否启用。- 需要定期自动备份日志,则勾选“自动备份”选项,并参考自动备份日志配置自动备份策略。
- 手动备份日志即可满足业务需求,则取消勾选“自动备份”选项。
- 配置完成后,单击“确定”,启用日志备份功能。
此时,日志备份页面会显示配置信息。
自动备份日志
集群启用日志备份功能后,支持配置自动备份策略,可根据预设时间定期执行日志备份。
- 在日志备份页面,单击右侧的“修改配置”。 图1 修改配置
- 在“修改配置”对话框中,勾选“自动备份”选项,完成备份策略配置。
表2 自动备份配置说明 参数
说明
时区
指定备份时间对应的时区,基于此时区选择备份开始时间。
备份开始时间
指定自动备份的开始时间。
请在下拉框中选择时间。时间的取值范围是“00:00”~“23:00”,只能指定整点时间。
- 配置完成后,单击“确定”,启用自动备份日志功能。
按照备份策略自动备份的日志将呈现在日志备份任务列表,当“任务状态”为“已完成”时,表示备份完成。
如果日志备份失败,可以单击“失败任务数”,在弹窗中查看失败原因。失败任务数最多显示10条,当日志备份功能关闭或集群删除时,失败记录也会被清空。
- 如果后续无需自动备份,则单击“修改配置”,在对话框中取消勾选“自动备份”选项,单击“确定”,在弹框中确认信息,单击“确定”,关闭自动备份。
关闭后,自动备份的日志数据不会自动清理,需前往OBS控制台手动清理数据。
手动备份日志
集群启用日志备份功能后,支持手动备份日志。手动备份可立即触发日志备份操作。
- 在日志备份页面,单击下方的“手动备份日志”。 图2 手动备份日志
- 在“手动备份日志”弹窗中确认备份路径,单击“确定”,开始备份日志。
备份的日志将呈现在日志备份任务列表,当“任务状态”为“已完成”时,表示备份完成。
如果日志备份失败,可以单击“失败任务数”,在弹窗中查看失败原因。失败任务数最多显示10条,当日志备份功能关闭或集群删除时,失败记录也会被清空。
关闭日志备份功能
当不再使用日志备份功能时,支持关闭备份。
在日志备份页面,单击“关闭备份”,在弹窗中单击“确定”即可关闭日志备份功能。
关闭日志备份后,备份的日志数据不会自动清理,需前往OBS控制台手动清理。
