更新时间:2024-09-14 GMT+08:00

扩容Logstash集群

当Logstash集群的数据面业务变化,需要动态调整集群节点的数量和规格时,可以执行扩容Logstash集群。

场景描述

表1 Logstash集群的扩容场景

场景

描述

相关文档

增加节点数量

只支持扩容集群的“节点数量”。适用于如下场景:

  • 当需要确保数据的持续可用性时,扩容Logstash集群的节点数量可以增加系统的容错能力。
  • 当现有Logstash节点处理能力达到极限,无法满足日益增长的数据量时,扩容可以提供更多的处理能力,保证数据流的顺畅处理。
  • 当Logstash集群需要执行更复杂的数据处理逻辑,如数据丰富、转换等,扩容可以提供更多的计算资源来处理这些任务 。

扩容节点数量

升级节点规格

只支持变更集群的“节点规格”。变更规格过程中,会依次对节点进行关机,完成更改后再依次开机,是一个滚动的变更过程。一般用于小规格变更为大规格,常用于如下场景:

  • 当现有的Logstash节点处理能力达到瓶颈,无法满足日益增长的数据量时,升级节点规格可以提供更多的计算资源和存储空间,从而提高整体的处理性能。
  • 在流量高峰期,为了及时处理增加的数据,可以通过升级Logstash节点规格来提高处理能力。

变更节点规格

前提条件

  • 集群处于“可用”状态,且无正在进行的任务。
  • CSS服务有足够的配额支持集群扩容。

约束限制

  • 变更节点规格也支持将大规格更改为小规格,但是此变更会降低集群的处理性能,进而影响业务能力,请谨慎使用。
  • 集群的“节点数量”大于等于2的集群才支持变更规格。

扩容节点数量

  1. 登录云搜索服务管理控制台。
  2. 在左侧菜单栏,选择“集群管理 > Logstash”,进入集群管理页面。
  3. 在集群列表选择目标集群,单击操作列的“更多 > 形态变更”进入形态变更页面。
  4. 在更改集群规格页面,设置扩容参数。
    表2 扩容节点数量

    参数

    说明

    变更类型

    选择“扩容”

    变更的资源

    显示本次扩容的资源变化量。

    变更的角色

    “节点数量”列增加节点数量。

    图1 扩容节点数量
  5. 单击“下一步”
  6. 确认变更信息后,单击“提交申请”
  7. 单击“返回集群列表”跳转到集群管理页面。集群的“任务状态”列显示为“扩容”,表示集群正在扩容。当集群状态变为“可用”,则表示扩容成功。

变更节点规格

  1. 登录云搜索服务管理控制台。
  2. 在左侧菜单栏,选择“集群管理 > Logstash”,进入集群管理页面。
  3. 在集群列表选择目标集群,单击操作列的“更多 > 形态变更”进入形态变更页面。
  4. 在更改集群规格页面,设置变更规格的参数。
    表3 变更节点规格

    参数

    说明

    变更类型

    选择“变更规格”

    变更的资源

    显示本次变更规格的资源变化量。

    变更的角色

    先在“节点类型”列勾选“数据节点”,Logstash集群只有数据节点。再在“节点规格”列选择新规格。

    图2 集群变更规格
  5. 单击“下一步”
  6. 确认变更信息后,单击“提交申请”
  7. 在弹出的窗口确认是否勾选“检测集群状态”,单击“确认”启动集群规格变更。

    检测集群状态:默认检测集群状态,变更规格为滚动变更,变更过程中,为了保证变更成功率以及数据安全,会确保每个节点进程拉起来后继续后续节点操作。当集群负载过高业务故障,无法正常下发变更请求,依赖更多的资源才能恢复的紧急情况下可忽略检测集群状态,忽略后,变更过程中因为忽略集群状态检测可能会导致集群故障并中断业务,请谨慎跳过。

  8. 单击“返回集群列表”跳转到集群管理页面。集群的“任务状态”列中显示为“规格修改”,表示集群正在更改规格。当集群状态变为“可用”,则表示规格变更成功。