更新时间:2025-07-29 GMT+08:00

规划节点规格容量

介绍Logstash集群节点的节点规格、存储类型和容量、节点数量的配置建议,方便用户合理规划集群的规格容量。

节点配置建议

表1 节点配置说明

参数

配置建议

节点规格

规格列表的“vCPUs | 内存”呈现了规格的CPU核数和内存,“建议存储范围”呈现了该规格支持的存储容量。建议根据Logstash数据处理任务的CPU负载、内存需求、I/O特性等核心指标进行选择。

不同节点规格的适用场景及核心特性说明请参见节点规格介绍,帮助您合理规划集群架构。

各个规格的详细说明请参见实例类型

节点存储类型和容量

给集群节点选择合适的存储类型和容量。

  • 选择云硬盘类型:
    • 当选择使用persisted即磁盘队列来缓存数据时,建议选择性能更好的云硬盘,如“超高I/O”“极速型SSD”
    • 当选择使用memory即内存队列来缓存数据时,则建议选择“高I/O”云硬盘。
    说明:

    Logstash默认使用内存队列来缓存数据,设置参数为“queue.type”, 可在创建配置文件的pipeline页面中选择。

    如果想了解云硬盘的性能,请参见磁盘类型及性能介绍

  • 节点存储容量为固定值:40GB

节点数量

Logstash节点数量的取值范围:1~100

Logstash节点用于收集、解析、处理和传输数据,节点数量和数据迁移速率相关,建议根据业务需求合理选择节点数量。

当节点数量大于或等于2时,各节点的配置文件将会保持一致,适用于Logstash消费Kafka数据的场景。

节点规格介绍

Logstash节点只支持部署在云硬盘的节点规格。云硬盘(EVS)是云服务提供的一种虚拟块存储服务,独立于ECS实例存在,提供高可靠性和弹性扩展能力。适合对数据可靠性要求较高且需要灵活扩展存储能力的业务场景。

以下是不同节点规格的适用场景及核心特性说明,帮助用户合理规划集群架构。
表2 节点规格介绍

CPU架构

节点规格

描述

X86计算

计算密集型

核心优势

  • 高性能CPU:专为高计算负载设计,适合处理CPU密集型任务。
  • 网络I/O优化:支持高吞吐量的数据输入输出(如网络插件)。

适用场景

  • CPU密集型插件:如grok(正则解析)、dissect(结构化日志解析)等需要大量CPU计算的插件。
  • 混合负载任务:同时涉及高CPU计算和网络I/O的任务(如实时日志采集、数据清洗)。
  • 大规模数据处理:需要快速处理海量数据的场景(如日志聚合、事件流处理)。

注意事项

  • 建议任务中配置的线程数(pipeline.workers)和CPU核数保持一致,以充分利用CPU资源,避免资源争抢。
  • 关注I/O瓶颈预警,如果网络插件(如beats、http)占比高,需确保网络带宽充足。

通用计算增强AC型

核心优势

  • CPU独享:实例间无资源争抢,性能稳定且成本较低,适合高优先级任务。
  • 低延迟保障:确保CPU密集型插件的处理效率。

适用场景

  • 高CPU负载任务:如实时日志解析、复杂字段提取(grok、ruby)。
  • 关键业务流程:对性能稳定性要求高的场景(如金融交易日志处理)。
  • 多线程处理:需高并发处理任务的场景。

注意事项

如果任务以网络I/O为主,建议结合超高I/O型的磁盘类型。

通用计算型

核心优势

均衡配置:默认规格,适合中等规模数据处理任务。

适用场景

  • 中等规模日志处理:如企业日志采集、监控数据聚合。
  • 低CPU负载任务:以网络I/O为主(如file、kafka插件)。
  • 标准化部署:无需特殊调优即可满足基础需求。

内存占用评估

通过公式 “Logstash处理的平均单条数据大小 x (pipeline.workers x pipeline.batch.size)” 预估内存需求。

示例:如果单条数据大小为1KB,pipeline.workers=4,pipeline.batch.size=1000,则内存占用约为4MB。

内存优化型

核心优势

  • 大内存容量:适合内存密集型任务,减少磁盘I/O压力。
  • 内存队列优化:通过内存队列缓存数据,提升处理效率。

适用场景

  • 大规模日志聚合:如日志分析平台、安全信息与事件管理(SIEM)。
  • 复杂数据转换:涉及大量临时数据存储的场景(如aggregate插件)。

注意事项

  • 需要实时监控内存使用,避免OOM(内存溢出)。
  • 成本较高,适合对内存需求极高的场景,需结合业务优先级评估。

鲲鹏计算

鲲鹏通用计算型

核心优势

  • ARM架构性价比:相比X86机型,ARM架构成本更低,功耗更低。
  • 内存效率优化:适合需要大内存且成本敏感的场景。

适用场景

  • 成本敏感型业务:如中小型企业日志采集、测试环境。
  • ARM生态适配:需要与鲲鹏云服务器兼容的场景。

注意事项

需要确保Logstash插件与ARM架构的兼容性(如Java虚拟机、第三方插件)。