更新时间:2024-11-29 GMT+08:00

扩容集群

MRS的扩容不论在存储还是计算能力上,都可以简单地通过增加Core节点或者Task节点来完成,不需要修改系统架构,降低运维成本。集群Core节点不仅可以处理数据,也可以存储数据。可以在集群中添加Core节点,通过增加节点数量处理峰值负载。集群Task节点主要用于处理数据,不存放持久数据。

背景信息

MRS集群支持Core与Task节点总数最大为500个。如果用户需要的Core/Task节点数大于500,可以联系支持人员或者调用后台接口修改数据库。

目前支持扩容Core节点和Task节点,不支持扩容Master节点。此处扩容的最大Core/Task节点数为(500 - 集群Core/Task节点数)。例如:当前集群Core节点数为3,此处扩容的Core节点数必须小于等于497。如果集群扩容失败,用户可重新进行扩容操作。

如果在创建集群时,没有扩容节点,用户可以在扩容时添加节点个数,但不能指定具体节点扩容。

选择的版本不同,扩容集群的操作也不同。

约束条件

  • 对于已安装HBase组件的节点组扩容时:

    如果集群没有开启节点自动注册DNS,扩容该节点组时需选择不启动组件,之后请参考更新客户端更新完HBase客户端配置后再启动扩容节点上的HBase组件实例。

  • 扩容后,集群内节点已安装的客户端无需更新,集群外节点安装的客户端请参考更新客户端进行更新。

操作步骤

  1. 登录MRS管理控制台。
  2. 选择 集群列表 > 现有集群 ,选中一个运行中的集群并单击集群名称,进入集群信息页面。
  3. 选择“节点管理”页签,在需要扩容的节点组的“操作”列单击“扩容”,进入扩容集群页面。

    只有运行中的集群才能进行扩容操作。

  4. 设置“扩容节点数量”、“启动组件”和“执行引导操作”参数,并单击“确定”

    • 若集群中没有Task节点组,请参考添加Task节点配置Task节点。
    • 如果创建集群时添加了引导操作,则“执行引导操作”参数有效,开启该功能时扩容的节点会把创建集群时添加的引导操作脚本都执行一遍。
    • 如果“新节点规格”参数有效,则表示与原有节点相同的规格已下架,新扩容的节点将按照“新节点规格”增加。
    • 扩容集群前需要检查集群安全组是否配置正确,要确保集群入方向安全组规则中有一条全部协议,全部端口,源地址为可信任的IP访问范围的规则。

  5. 进入“扩容节点”窗口,单击“确定”
  6. 弹出扩容节点提交成功提示框。

    集群扩容过程说明如下:
    • 扩容中:集群正在扩容时集群状态为“扩容中”。已提交的作业会继续执行,也可以提交新的作业,但不允许继续扩容和删除集群,也不建议重启集群和修改集群配置。
    • 扩容成功:集群扩容成功后集群状态为“运行中”
    • 扩容失败:集群扩容失败时集群状态为“运行中”。用户可以执行作业,也可以重新进行扩容操作。

    扩容成功后,可以在集群详情的“节点管理”页签查看集群的节点信息。

添加Task节点

MRS集群创建成功之后,如果需要规划Task类型的节点组进行弹性伸缩,可通过手动添加节点组的方式进行配置。

“自定义”类型集群添加Task节点操作步骤:

  1. 在集群详情页面,选择“节点管理”页签,单击“新增节点组”,进入“新增节点组”页面。
  2. 节点类型选择“Task”,“部署角色”参数默认选择“NM”部署NodeManager角色,则新增节点组为Task节点组,其他参数根据需要配置。
非“自定义”类型集群添加Task节点操作步骤:
  1. 在集群详情页面,选择“节点管理”页签,单击“配置Task节点”,进入“配置Task节点”页面。
  2. 配置“节点类型”“节点规格”“节点数量”“系统盘”,如开启“添加数据盘”后,还需要配置数据盘的存储类型、大小和数量。

  3. 单击“确定”

添加节点组

用于增加节点组,适用MRS 3.x版本的自定义集群。

  1. 在集群详情页面,选择“节点管理”页签,单击“新增节点组”,进入“新增节点组”页面。
  2. 根据需求配置参数。
    表1 新增节点组参数说明

    参数名称

    描述

    节点规格

    选择节点组内主机的规格类型。

    节点数量

    设置新增节点组内的节点数量。

    系统盘

    设置新增节点的系统盘的规格与容量。

    数据盘/数据盘数量

    设置新增节点的数据盘的规格与容量及数量。

    部署角色

    新增节点组内,各节点的实例部署发布,可手动调节。

  3. 单击“确定”。