更新时间:2024-09-14 GMT+08:00

Logstash集群规划建议

规划集群可用区

为防止数据丢失,并确保在服务中断情况下能降低集群的停机时间,从而增强集群的高可用性,CSS服务支持跨可用区(即多可用区)部署。用户可以在同一个区域内选择两个不同的可用区进行集群部署。

在创建集群时,如果用户选择了两个可用区,CSS服务将自动开启跨AZ的高可用性特性,确保节点在这些可用区内均匀分配。系统均匀分配的节点满足各个AZ之间节点数量的差小于等于1,具体的节点分布情况,包括不同数量的节点如何在各个可用区中分布,可以参考表1
  • 在创建集群时,选择的节点数量都要大于等于2,否则跨可用区部署会失败。
  • 部署跨AZ集群时,节点会被均匀的分布在不同的AZ上。
表1 节点数量和AZ分布

集群节点个数

单AZ

两AZ

AZ1

AZ1

AZ2

1个节点

1

不支持

2个节点

2

1

1

3个节点

3

2

1

4个节点

4

2

2

规划节点存储

  • 规划节点机型

    由于Logstash集群不涉及存储大规格数据,推荐选用计算密集型机型。

  • 规划节点规格

    在规划节点规格时,推荐优先考虑高配置但节点数量较少的方案。例如,一个由3个节点组成的集群,每个节点配置为32核CPU和64GB内存,通常比一个由12个节点组成的集群,每个节点配置为8核CPU和16GB内存,在集群的稳定性和扩展性方面更具优势。

    优势主要体现在如下方面。

    • 集群稳定性:高配置节点通常能提供更强的处理能力和更大的内存空间,从而提高集群的整体稳定性。
    • 扩容便捷性:当高配置集群遇到性能瓶颈时,可以通过横向扩展轻松解决,即简单地向集群中添加更多具有相同高配置的节点。这种扩展方式简单直接,易于实施。
    • 维护简便:较少的节点数量意味着更少的维护工作和更低的管理复杂性。

    相比之下,低配置集群在需要扩容时,往往需要进行纵向扩展,即提升单个节点的配置。这不仅可能涉及更复杂的迁移和升级过程,还可能增加额外的维护成本和技术挑战。

    因此,在规划集群时,应综合考虑性能、成本、维护和扩展性,选择最适合业务需求的节点规格。

  • 规划存储容量

    Logstash集群的云盘存储容量默认是40GB,且不支持修改,因此无需规划。

规划虚拟私有云和子网

CSS服务支持在非共享VPC和共享VPC内创建集群。

共享VPC和非共享VPC相比,有如下优势:

  • 在一个账号内统一创建资源,并将资源共享给其他账号,其他账号无需创建重复资源,可以精简资源数量以及网络架构,提升管理效率并节约成本。

    比如不同账号下的VPC网络互通需要建立对等连接,使用共享VPC后,则不同账号用户可以在同一个VPC创建资源,免去了对等连接配置,有效的简化组网结构。

  • 在一个账号内统一管理运维资源,便于企业集中配置业务安全策略,并且利于对资源使用情况的监控和审计,支撑业务的安全诉求。
当选择使用共享VPC创建集群时,需要提前完成共享VPC子网的创建,操作流程请参见表2。有关共享VPC的使用限制及详细操作指导等信息可以参考共享VPC概述
表2 共享子网创建流程说明

方法

说明

操作指导

方法A

  1. 通过RAM管理控制台,所有者创建共享,将子网共享给使用者。配置如下:
    1. 选择共享子网。
    2. 为共享子网选择权限,即指定使用者对该共享子网具备的权限。

      CSS服务在共享VPC中创建集群需要选择权限:default vpc subnet statement。

    3. 指定共享子网的使用者,可以指定多个。
  2. 共享创建完成后,通过RAM管理控制台,使用者可以选择接受或者拒绝共享申请。
    • 使用者接受共享申请,子网共享成功。

      如果后续使用者不再需要使用该共享子网,可以退出该共享。

    • 使用者拒绝共享申请,子网共享失败。
  1. 创建共享
  2. 接受/拒绝共享邀请

    退出共享

方法B

  1. 通过RAM管理控制台,所有者创建共享,将子网共享给使用者。配置如下:
    1. 选择共享子网。
    2. 为共享子网选择权限,即指定使用者对该共享子网具备的权限。

      CSS服务在共享VPC中创建集群需要选择权限:default vpc subnet statement。

    3. 指定共享子网的使用者,可以指定多个。
  2. 通过VPC管理控制台,选择上一步中已创建的共享,将子网加入到该共享内。
  3. 共享创建完成后,通过RAM管理控制台,使用者可以选择接受或者拒绝共享申请。
    • 使用者接受共享申请,子网共享成功。

      如果后续使用者不再需要使用该共享子网,可以退出该共享。

    • 使用者拒绝共享申请,子网共享失败。
  1. 创建共享
  2. 将VPC子网共享给其他账号
  3. 接受/拒绝共享邀请

    退出共享