更新时间:2025-07-29 GMT+08:00

缩容Logstash集群

当集群有充足的能力处理当前数据时,为节省资源可以缩容Logstash集群。

缩容Logstash集群是通过随机下线节点减少集群的“节点数量”,减少集群占用的资源。

缩容流程:随机下线节点,并修改集群配置。

前提条件

集群处于“可用”状态,且无正在进行的任务。

计费影响

如果是按需计费的集群,在缩容确认页面可以查看变更后的价格。变更完成后,集群将按照更新后的价格计费,计费规则请参见云搜服务价格计算器

如果是包周期的集群,在缩容确认页面会触发退款信息,可以查看价格信息。

约束限制

  • 缩容是通过下线节点减少节点数量,为了降低业务影响,建议在业务低峰期进行缩容操作。
  • 关于跨AZ的集群,在不同AZ中同类型节点个数的差值要小于或等于1。

变更影响

在缩容前,您需要了解以下关键影响和操作建议,以便合理规划变更,最小化业务影响。

  • 集群吞吐量影响

    下线节点通常不会中断业务,但在节点下线过程中,该节点上的作业会终止运行,导致集群吞吐量下降。

  • 变更过程特性

    缩容任务一旦启动就无法中止,直到任务成功或失败才会结束。

缩容时长

集群缩容的时长估算公式如下:

缩容时长(分钟)= 5(分钟)x 缩容的节点个数

其中:5分钟为初始化等缩容操作的基准耗时,是经验值。

减少节点数量

  1. 登录云搜索服务管理控制台。
  2. 在左侧菜单栏,选择“集群管理 > Logstash”,进入集群管理页面。
  3. 在集群列表选择目标集群,单击操作列的“更多 > 形态变更”进入形态变更页面。
  4. 在更改集群规格页面,设置缩容参数。
    表1 缩容随机节点

    参数

    说明

    变更类型

    选择“缩容”

    变更的资源

    显示本次变更任务减少的资源。

    配置委托

    删除节点会释放网卡,需要VPC的操作权限。选择IAM委托,授权当前账号访问和使用VPC的权限。

    • 仅对接了IAM新平面时才显示该参数。
    • 当首次配置委托时,可以单击“自动创建委托”新建委托“css_upgrade_agency”直接使用。
    • 当已有自动创建的委托时,可以单击“委托一键授权”,自动删除委托中VPC Administrator系统角色和VPC FullAccess系统策略的权限,并自动新增如下自定义策略授权委托到最小化权限。
      "vpc:subnets:get",
      "vpc:ports:*"
    • 执行“自动创建委托”“委托一键授权”的用户需要如下最小权限。
      "iam:agencies:listAgencies",
      "iam:roles:listRoles",
      "iam:agencies:getAgency",
      "iam:agencies:createAgency",
      "iam:permissions:listRolesForAgency",
      "iam:permissions:grantRoleToAgency",
      "iam:permissions:listRolesForAgencyOnProject",
      "iam:permissions:revokeRoleFromAgency",
      "iam:roles:createRole"
    • 使用委托的用户需要如下最小权限。
      "iam:agencies:listAgencies",
      "iam:agencies:getAgency",
      "iam:permissions:listRolesForAgencyOnProject",
      "iam:permissions:listRolesForAgency"

    变更的角色

    “节点数量”列减少节点数量。

    图1 缩容节点数量
  5. 单击“下一步”
  6. 确认变更信息后,单击“提交申请”
  7. 单击“返回集群列表”跳转到集群管理页面。集群的“任务状态”列中显示为“缩容中”,表示集群正在缩容。当集群状态变为“可用”,则表示缩容成功。

相关文档

Logstash集群还支持变更节点规格节约资源,操作指导请参见变更Logstash集群节点规格