CSS服务通过日志查询和日志备份功能,为用户提供全面的日志管理能力,满足不同场景下的日志处理需求,帮助用户高效定位问题、优化性能及保障系统安全。
- 日志查询:在云搜索服务控制台的日志管理页面,用户可按节点筛选最近日志,并查看结果,适用于快速定位突发问题。
- 日志备份:通过定期将集群日志同步至OBS桶,用户可随时下载日志文件进行深度分析。该功能支持自定义备份策略(如备份时间、存储路径等),备份日志包含运行日志、弃用操作日志等类型,满足不同场景的审计与排查需求。
计费影响
当使用日志备份功能时,备份的日志存储在OBS桶中需要额外收费,具体收费说明请参见对象存储服务计费说明。
前提条件
当使用日志备份功能时,需要提前创建用于存储日志的OBS桶。OBS桶需要满足如下条件:
- “存储类别”为“标准存储”。
- “区域”须与集群所在区域相同。
查询日志
- 登录云搜索服务管理控制台。
- 在左侧导航栏,选择“集群管理 > Logstash”。
- 在集群列表,单击目标集群名称,进入集群详情页。
- 选择“日志管理 > 日志查询”,进入日志查询页面。
通过选择节点或关键字查询日志,各类日志的详细说明请参见日志介绍。
当日志文件大小达到128MB或每日零点(00:00 UTC)时,系统将自动将其打包为压缩包并归档。日志查询界面仅展示未归档的日志内容。已归档的日志需通过日志备份功能获取。
备份日志
日志备份可以将集群日志同步至OBS桶,支持随时下载日志文件进行深度分析。
- 登录云搜索服务管理控制台。
- 在左侧导航栏,选择“集群管理 > Logstash”。
- 在集群列表,单击目标集群名称,进入集群详情页。
- 选择“日志管理 > 日志备份”,进入日志备份页面。
- 启用日志备份功能。
参考如下步骤启用日志备份功能,如果已开启则跳过该步骤。
- 单击“开启备份”,在开启备份对话框中完成日志备份配置。
表1 日志备份配置说明
参数 |
说明 |
OBS桶 |
在下拉框中选择存储日志的OBS桶。
如果没有合适的OBS桶,可以单击“创建桶”跳转到OBS控制台创建OBS桶。具体操作请参见创建桶。 |
备份路径 |
设置日志在OBS桶中的存放路径。
备份路径配置规则:
- 备份路径不能存在符号“\:*?"<>|'{}”。
- 备份路径不能以“/”开头。
- 备份路径不能以“.”开头或结尾。
- 备份路径不能包含两个以上连续的斜杆(/)或点(.)。
- 备份路径的总长度不能超过512字符。
|
IAM委托 |
将数据备份到OBS桶需要当前账号具备该OBS桶的写入权限。通过配置IAM委托,使当前账号授权CSS服务访问其拥有的OBS资源。
- 当首次配置委托时,可以单击“自动创建委托”新建委托“css_obs_agency”直接使用。
- 当已有自动创建的委托时,可以单击“委托一键授权”,自动删除委托中OBS Administrator系统策略的权限,并自动新增如下自定义策略授权委托到最小化权限。
"obs:bucket:GetBucketLocation",
"obs:object:GetObjectVersion",
"obs:object:GetObject",
"obs:object:DeleteObject",
"obs:bucket:HeadBucket",
"obs:bucket:GetBucketStoragePolicy",
"obs:object:DeleteObjectVersion",
"obs:bucket:ListBucketVersions",
"obs:bucket:ListBucket",
"obs:object:PutObject"
- 当OBS桶使用SSE-KMS加密模式时,委托中需要包含KMS的权限,“自动创建委托”和“委托一键授权”会自动增加如下自定义策略授权委托到最小化权限。
"kms:cmk:create",
"kms:dek:create",
"kms:cmk:get",
"kms:dek:decrypt",
"kms:cmk:list"
- 执行“自动创建委托”和“委托一键授权”的用户需要如下最小权限。
"iam:agencies:listAgencies",
"iam:roles:listRoles",
"iam:agencies:getAgency",
"iam:agencies:createAgency",
"iam:permissions:listRolesForAgency",
"iam:permissions:grantRoleToAgency",
"iam:permissions:listRolesForAgencyOnProject",
"iam:permissions:revokeRoleFromAgency",
"iam:roles:createRole"
- 使用委托的用户需要如下最小权限。
"iam:agencies:listAgencies",
"iam:agencies:getAgency",
"iam:permissions:listRolesForAgencyOnProject",
"iam:permissions:listRolesForAgency"
警告:
委托名称必须仅包含字符a-z、A-Z、0-9、下划线(_)和短横线(-),否则会备份失败。
|
“自动备份”选项请根据业务需要决定是否启用。
- 需要定期自动备份日志,则勾选“自动备份”选项,并参考6配置自动备份策略。
- 手动备份日志即可满足业务需求,则取消勾选“自动备份”选项。
- 配置完成后,单击“确定”,启用日志备份功能。
此时,日志备份页面会显示配置信息。
- 备份日志。支持自动备份日志和手动备份日志两种方式。
自动备份日志:根据预设的时间策略定期执行日志备份。
- 在日志备份页面,单击右侧的“修改配置”。
图1 修改配置
- 在修改配置对话框中勾选“自动备份”选项,并完成自动备份策略的配置。
表2 自动备份配置说明
参数 |
说明 |
时区 |
指定备份时间对应的时区,基于此时区选择备份开始时间。 |
备份开始时间 |
指定自动备份的开始时间。
请在下拉框中选择时间。时间的取值范围是“00:00”~“23:00”,只能指定整点时间。 |
- 配置完成后,单击“确定”,启用自动备份日志功能。
按照备份策略自动备份的日志将呈现在日志备份任务列表,当“任务状态”为“已完成”时,表示备份完成。
如果日志备份失败,可以单击“失败任务数”,在弹窗中查看失败原因。失败任务数最多显示10条,当日志备份功能关闭或集群删除时,失败记录也会被清空。
-
“自动备份”
关闭后,自动备份的日志数据不会自动清理,需前往OBS控制台手动清理数据。
- 在日志备份页面,单击下方的“手动备份日志”。
图2 手动备份日志
- 在手动备份日志弹框中确认备份路径,单击“确定”,开始备份日志。
备份的日志将呈现在日志备份任务列表,当“任务状态”为“已完成”时,表示备份完成。
如果日志备份失败,可以单击“失败任务数”,在弹窗中查看失败原因。失败任务数最多显示10条,当日志备份功能关闭或集群删除时,失败记录也会被清空。
- 查看备份的日志文件。
日志备份采用增量备份方式,备份成功后可以单击“备份路径”访问OBS桶获取全量日志文件。
图3 访问OBS桶
日志文件类型如表3所示,其中“clustername”是集群名称。
表3 日志文件类型
日志名称 |
描述 |
clustername_deprecation.log |
废弃操作日志文件。 |
clustername-plain.log |
运行日志文件。 |
- 当不再使用日志备份功能时,支持关闭备份。
在日志备份页面,单击“关闭备份”,在弹框中单击“确定”即可关闭日志备份功能。关闭后,备份的日志数据不会自动清理,需前往OBS控制台手动清理。
日志介绍
表4 日志介绍
日志类型 |
描述 |
使用场景 |
运行日志 |
用于记录集群中各节点的运行状况及管道的运行情况,例如源端和目标端的连通性、创建或修改管道配置情况、管道运行的错误信息等。 |
当您需要查看管道运行的错误信息,可查看运行日志进行排查。 |
废弃操作日志 |
用于记录弃用警告(Deprecation Warnings)的日志文件。它会在您使用了已被弃用但尚未移除的API、配置或功能时,向这个日志中写入警告信息。
废弃操作日志不支持控制台查看,但可以备份到OBS桶中查看。 |
当需要查看业务有没有使用过期API风险情况时,可查看废弃操作日志进行排查。 |