规划节点规格容量
介绍Logstash集群节点的节点规格、存储类型和容量、节点数量的配置建议,方便用户合理规划集群的规格容量。
节点配置建议
参数 |
配置建议 |
---|---|
节点规格 |
规格列表的“vCPUs | 内存”呈现了规格的CPU核数和内存,“建议存储范围”呈现了该规格支持的存储容量。建议根据Logstash数据处理任务的CPU负载、内存需求、I/O特性等核心指标进行选择。 不同节点规格的适用场景及核心特性说明请参见节点规格介绍,帮助您合理规划集群架构。 各个规格的详细说明请参见实例类型。 |
节点存储类型和容量 |
给集群节点选择合适的存储类型和容量。
|
节点数量 |
Logstash节点数量的取值范围:1~100 Logstash节点用于收集、解析、处理和传输数据,节点数量和数据迁移速率相关,建议根据业务需求合理选择节点数量。 当节点数量大于或等于2时,各节点的配置文件将会保持一致,适用于Logstash消费Kafka数据的场景。 |
节点规格介绍
Logstash节点只支持部署在云硬盘的节点规格。云硬盘(EVS)是云服务提供的一种虚拟块存储服务,独立于ECS实例存在,提供高可靠性和弹性扩展能力。适合对数据可靠性要求较高且需要灵活扩展存储能力的业务场景。
CPU架构 |
节点规格 |
描述 |
---|---|---|
X86计算 |
计算密集型 |
核心优势
适用场景
注意事项
|
通用计算增强AC型 |
核心优势
适用场景
注意事项 如果任务以网络I/O为主,建议结合超高I/O型的磁盘类型。 |
|
通用计算型 |
核心优势 均衡配置:默认规格,适合中等规模数据处理任务。 适用场景
内存占用评估 通过公式 “Logstash处理的平均单条数据大小 x (pipeline.workers x pipeline.batch.size)” 预估内存需求。 示例:如果单条数据大小为1KB,pipeline.workers=4,pipeline.batch.size=1000,则内存占用约为4MB。 |
|
内存优化型 |
核心优势
适用场景
注意事项
|
|
鲲鹏计算 |
鲲鹏通用计算型 |
核心优势
适用场景
注意事项 需要确保Logstash插件与ARM架构的兼容性(如Java虚拟机、第三方插件)。 |