Logstash集群规划建议

规划集群可用区

为防止数据丢失，并确保在服务中断情况下能降低集群的停机时间，从而增强集群的高可用性，CSS服务支持跨可用区（即多可用区）部署。用户可以在同一个区域内选择两个不同的可用区进行集群部署。

在创建集群时，如果用户选择了两个可用区，CSS服务将自动开启跨AZ的高可用性特性，确保节点在这些可用区内均匀分配。系统均匀分配的节点满足各个AZ之间节点数量的差小于等于1，具体的节点分布情况，包括不同数量的节点如何在各个可用区中分布，可以参考表1。

• 在创建集群时，选择的节点数量都要大于等于2，否则跨可用区部署会失败。
• 部署跨AZ集群时，节点会被均匀的分布在不同的AZ上。

表1 节点数量和AZ分布

集群节点个数	单AZ	两AZ
	AZ1	AZ1	AZ2
1个节点	1	不支持
2个节点	2	1	1
3个节点	3	2	1
4个节点	4	2	2
…	…	…	…

规划节点存储

• 规划节点机型

  由于Logstash集群不涉及存储大规格数据，推荐选用计算密集型机型。

• 规划节点规格

  在规划节点规格时，推荐优先考虑高配置但节点数量较少的方案。例如，一个由3个节点组成的集群，每个节点配置为32核CPU和64GB内存，通常比一个由12个节点组成的集群，每个节点配置为8核CPU和16GB内存，在集群的稳定性和扩展性方面更具优势。

  优势主要体现在如下方面。

  • 集群稳定性：高配置节点通常能提供更强的处理能力和更大的内存空间，从而提高集群的整体稳定性。
  • 扩容便捷性：当高配置集群遇到性能瓶颈时，可以通过横向扩展轻松解决，即简单地向集群中添加更多具有相同高配置的节点。这种扩展方式简单直接，易于实施。
  • 维护简便：较少的节点数量意味着更少的维护工作和更低的管理复杂性。

  相比之下，低配置集群在需要扩容时，往往需要进行纵向扩展，即提升单个节点的配置。这不仅可能涉及更复杂的迁移和升级过程，还可能增加额外的维护成本和技术挑战。

  因此，在规划集群时，应综合考虑性能、成本、维护和扩展性，选择最适合业务需求的节点规格。

• 规划存储容量

  Logstash集群的云盘存储容量默认是40GB，且不支持修改，因此无需规划。

规划虚拟私有云和子网

CSS服务支持在非共享VPC和共享VPC内创建集群。

共享VPC和非共享VPC相比，有如下优势：

• 在一个账号内统一创建资源，并将资源共享给其他账号，其他账号无需创建重复资源，可以精简资源数量以及网络架构，提升管理效率并节约成本。

  比如不同账号下的VPC网络互通需要建立对等连接，使用共享VPC后，则不同账号用户可以在同一个VPC创建资源，免去了对等连接配置，有效的简化组网结构。

• 在一个账号内统一管理运维资源，便于企业集中配置业务安全策略，并且利于对资源使用情况的监控和审计，支撑业务的安全诉求。