更新时间:2023-07-24 GMT+08:00
分享

资源规划

Filebeat部署在APIC的SHUBAO组件所在节点上,ELK部署在独立服务器中。在搭建Filebeat+ELK系统前,需要对Filebeat和ELK所需的服务器资源进行评估,以准备相关服务器资源。

API调用日志文件最大为200MB,达到上限后会自动生成新的日志文件,以每天产生5个或10个新日志文件为例,Filebeat和ELK对服务器的资源需求如表1所示。

表1 服务器资源需求

组件

日志文件数

CPU

内存

磁盘

Filebeat

5个

1核

256MB

当Filebeat已读取日志,但尚未发送至其它组件前,会把日志数据缓存到磁盘中,因此磁盘占用为已读取日志文件总大小,最大值为200MB*日志文件数。

10个

2核

256MB

ELK:Logstash

5个

2核

1GB

同Filebeat的磁盘要求。

10个

4核

2GB

ELK:ElasticSearch

5个

4核

8GB

ElasticSearch的磁盘空间需求取决于数据量、副本数:

  • 一般场景:数据量*(1+副本数)*1.7
  • 峰值场景:数据量*(1+副本数)*2.6

其中,数据量为存储的日志文件总大小,即200MB*日志文件数;本实践中,ElasticSearch的副本数为1。

ElasticSearch存储的数据,默认未设置过期时间,用户可根据磁盘空间情况,为ElasticSearch数据配置索引生命周期策略

10个

8核

16GB

ELK:Kibana

5个

2核

256MB

Kibana的磁盘空间需求取决于Kibana面板数量、复杂度、更新频率、在ElasticSearch中创建的索引数量及大小,磁盘空间需求较少,约500MB。

10个

4核

512MB

相关文档