资源规划
Filebeat部署在APIC的SHUBAO组件所在节点上,ELK部署在独立服务器中。在搭建Filebeat+ELK系统前,需要对Filebeat和ELK所需的服务器资源进行评估,以准备相关服务器资源。
API调用日志文件最大为200MB,达到上限后会自动生成新的日志文件,以每天产生5个或10个新日志文件为例,Filebeat和ELK对服务器的资源需求如表1所示。
组件 |
日志文件数 |
CPU |
内存 |
磁盘 |
---|---|---|---|---|
Filebeat |
5个 |
1核 |
256MB |
当Filebeat已读取日志,但尚未发送至其它组件前,会把日志数据缓存到磁盘中,因此磁盘占用为已读取日志文件总大小,最大值为200MB*日志文件数。 |
10个 |
2核 |
256MB |
||
ELK:Logstash |
5个 |
2核 |
1GB |
同Filebeat的磁盘要求。 |
10个 |
4核 |
2GB |
||
ELK:ElasticSearch |
5个 |
4核 |
8GB |
ElasticSearch的磁盘空间需求取决于数据量、副本数:
其中,数据量为存储的日志文件总大小,即200MB*日志文件数;本实践中,ElasticSearch的副本数为1。 ElasticSearch存储的数据,默认未设置过期时间,用户可根据磁盘空间情况,为ElasticSearch数据配置索引生命周期策略。 |
10个 |
8核 |
16GB |
||
ELK:Kibana |
5个 |
2核 |
256MB |
Kibana的磁盘空间需求取决于Kibana面板数量、复杂度、更新频率、在ElasticSearch中创建的索引数量及大小,磁盘空间需求较少,约500MB。 |
10个 |
4核 |
512MB |