采集日志至集群
当集群规模较大、日志量巨大时,传统的搜索框查询已无法满足对日志趋势的整体洞察。为了实现更高阶的日志分析,您可以利用CSS服务的日志采集功能,将当前集群产生的日志实时写入索引并存储在指定集群中。利用Kibana或其他工具实现日志的可视化搜索与分析。通过将日志“数据化”,您可以跨越多个集群实现日志的集中化分析,大幅提升复杂故障的排查效率。
约束限制
Elasticsearch集群要求镜像版本号不低于7.10.2_24.2.0_xxx时才支持日志采集功能。
开启日志实时采集
将非结构化日志转化为可检索的Elasticsearch索引。
- 登录云搜索服务管理控制台。
- 在左侧导航栏,选择“集群管理 > Elasticsearch”。
- 在集群列表,单击目标集群名称,进入集群详情页。
- 选择“日志管理 > 日志采集”,进入日志采集页面。
如果没有“日志采集”页签,则表示该集群不支持采集日志。
- 启用日志采集功能。如果已开启则跳过该步骤。
- 单击“开启日志采集”,在开启日志采集对话框中完成日志采集配置。
表1 日志采集配置说明 参数
说明
索引前缀名称
设置采集的日志中索引名称的前缀,设置后采集的日志索引名称为“索引前缀名称+日志采集日期”,日志采集日期以天为单位。
索引前缀名称只支持数字、小写字母、下划线和中划线,支持1~128个字符。
保留周期
设置采集的日志的保留周期。当采集的日志超过保存周期时,日志将会被删除。
取值范围:1~3650
单位:天
日志保存集群
设置采集的日志保存在哪个集群,支持选择“当前集群”和“其他集群”。
- 配置完成后,单击“确定”,启用日志采集功能。
此时,日志采集页面会显示配置信息。
- 单击“开启日志采集”,在开启日志采集对话框中完成日志采集配置。
- 在日志采集页面,当“状态”变成“运行中”时,表示已启动日志实时采集。
查看采集的日志
在日志采集页面,单击“访问Kibana”,可直接进入日志保存集群的Kibana登录页面。利用Kibana的可视化能力进行日志检索与分析。
如需查看日志保存集群的详细信息,可以单击“日志保存集群”的集群名称,跳转到目标集群概览页面。
关闭日志采集
当不再使用日志采集功能时,支持关闭日志采集功能,释放存储资源。
在日志采集页面,单击“关闭日志采集”,在弹窗中单击“确定”即可停止日志采集任务。
关闭后,已采集的日志数据不会立即被清空,仅当超过设置的“保存周期”时才会被系统删除,这之前也支持前往日志保存集群手动删除相关索引。