更新时间:2024-10-25 GMT+08:00

扩容OpenSearch集群

当Elasticsearch或OpenSearch集群的数据面业务变化,需要动态调整集群节点的数量、容量、规格和类型时,可以参考本文扩容集群。

场景描述

CSS服务支持多种扩容场景,如表1所示。

表1 扩容场景

场景

描述

相关文档

增加节点数量和容量

只支持基于节点类型扩容集群的“节点数量”“节点存储容量”。适用于如下场景:

  • 当集群数据节点(ess)的写入与查询压力大、响应时间过长时,可以通过扩容数据节点的“节点存储容量”保证数据的持久性。如果因数据量过大或操作不当导致数据节点状态异常时,可以扩容“节点数量”保证集群的可用性。
  • 冷数据节点(ess-cold)主要用于分担数据节点(ess)的压力,当发现冷数据有丢失的风险时,可以扩容冷数据节点的“节点存储容量”保证冷数据的持久性,同时也支持扩容节点个数保证集群的可用性。

扩容节点数量和节点存储容量

升级节点规格

只支持基于节点类型变更集群的“节点规格”。一般用于小规格变更为大规格,常用于如下场景:

  • 当新增索引或分片分配的处理时间过长,或管理集群各个节点的协调、调度不足时,可以升级Master节点(ess-master)的“节点规格”保证集群的正常使用。
  • 当数据节点任务分发量、结果汇聚量过大时,可以升级Client节点(ess-client)的“节点规格”
  • 当数据的写入与查询突然变得缓慢时,可以升级数据节点(ess)的“节点规格”提高数据节点的查询与写入效率。
  • 当存在冷数据查询缓慢时,可以升级冷数据节点(ess-cold)的“节点规格”提高对数据查询的效率。

变更OpenSearch集群节点规格

增加节点类型

当集群本身没有Master节点(ess-master)和Client节点(ess-client)时,随着数据面业务增长,需要动态调整集群形态时,可以选择增加“Master节点”“Client节点”

添加Master或Client节点

约束限制

  • 集群的节点存储容量只支持扩容不支持缩容,请基于业务量合理选择节点存储容量。
  • 包周期集群不支持同时扩容“节点数量”“节点存储容量”
  • 当一个集群包含的节点类型不同时,各节点类型支持的节点数量不同,扩容节点数量时请参考表2
    表2 集群的节点数量取值说明

    一个集群包含的节点类型

    节点数量的取值范围

    ess

    ess:1~32

    ess、ess-master

    ess:1~200

    ess-master:3~9的奇数

    ess、ess-client

    ess:1~32

    ess-client:1~32

    ess、ess-cold

    ess:1~32

    ess-cold:1~32

    ess、ess-master、ess-client

    ess:1~200

    ess-master:3~9的奇数

    ess-client:1~32

    ess、ess-master、ess-cold

    ess:1~200

    ess-master:3~9的奇数

    ess-cold:1~32

    ess、ess-client、ess-cold

    ess:1~32

    ess-client:1~32

    ess-cold:1~32

    ess、ess-master、ess-client、ess-cold

    ess:1~200

    ess-master:3~9的奇数

    ess-client:1~32

    ess-cold:1~32

    说明:
    • ess:数据节点,即创建集群时必配的节点类型,其他3种节点类型都是基于业务需要可选的类型。
    • ess-master:Master节点。
    • ess-client:Client节点。
    • ess-cold:冷数据节点。

前提条件

  • 确认集群处于“可用”状态,且无正在进行的任务。
  • 确认CSS服务有足够的配额支持集群扩容。

扩容节点数量和节点存储容量

  1. 登录云搜索服务管理控制台。
  2. 在左侧菜单栏,选择对应的集群类型,进入集群管理页面。
  3. 选择目标集群,单击操作列的“更多>形态变更”进入更改集群规格页面。
  4. 选择“更改集群规格”页签。
  5. 在更改集群规格页面,设置扩容参数。
    表3 扩容节点数量和节点存储容量

    参数

    说明

    变更类型

    选择“扩容”

    变更的资源

    显示本次扩容的资源变化量。

    变更的角色

    “节点数量”列和“节点存储”列增加节点数量和节点存储容量。支持多种节点类型同时变更。

    • 节点数量的取值范围请参见表2
    • 节点存储容量的取值范围由“节点规格”决定,且只支持配置为20的倍数。
    说明:

    包周期集群不支持同时扩容“节点数量”“节点存储容量”

    图1 集群扩容
  6. 单击“下一步”
  7. 确认变更信息后,单击“提交申请”
  8. 单击“返回集群列表”跳转到集群管理页面。集群的“任务状态”列显示为“扩容”,表示集群正在扩容。当集群状态变为“可用”,则表示扩容成功。

添加Master或Client节点

  1. 登录云搜索服务管理控制台。
  2. 在左侧菜单栏,选择对应的集群类型,进入集群管理页面。
  3. 选择目标集群,单击操作列的“更多>形态变更”进入形态变更页面。
  4. 选择“添加Master/Client节点”页签。

    当集群同时拥有Master节点和Client节点时,形态变更页面将不存在“添加Master/Client节点”页签。

  5. 在添加Master/Client节点页面,勾选需要添加的节点,并配置“节点规格”、“节点数量”和“节点存储”。
    表4 添加Master或Client节点

    参数

    说明

    启用节点类型

    勾选本次要添加的节点类型。

    • 只能选择一种节点类型,当需要同时添加Master和Client节点时,就需要执行2次“添加Master/Client节点”任务。
    • 当集群本身已经有Master节点或Client节点时,则此处只显示另一种节点类型供选择。

    节点规格

    根据需求选择节点规格。

    节点数量

    设置该节点类型的节点数量,取值范围请参见表2

    节点存储

    设置该节点类型的存储类型和容量,节点存储容量的取值范围由“节点规格”决定,且只支持配置为20的倍数。

    图2 添加Master/Client节点
  6. 单击“下一步”
  7. 确认变更信息后,单击“提交申请”

    返回集群列表页面,集群的“任务状态”列中显示为“扩容中”

    • 如果添加Master节点,当“集群状态”变为“可用”时表示节点添加成功。

      如果集群版本小于7.x,当“集群状态”变为“可用”时,还需要重启集群的所有数据节点和冷数据节点,使新增节点的配置生效。如果不重启使新增节点配置生效,使用集群时因为上报机制问题可能显示不可用状态(集群业务并未不可用)。重启操作请参见重启Elasticsearch集群

    • 如果添加Client节点,当“集群状态”变为“可用”时表示节点添加成功。可选择是否重启数据节点和冷数据节点,下线数据节点上的Cerebro和Kibana的进程。