# 扩容MRS集群 随着业务量的增长，集群存储容量、计算能力或服务能力无法满足业务需求时，需要考虑对集群进行扩容，以提升集群的计算能力、存储容量、稳定性或扩展性，避免因资源不足导致业务中断或效率降低。 MRS集群的扩容不论在存储还是计算能力上，都可以简单地通过增加节点数量来完成，不需要修改系统架构，降低运维成本。 表1MRS集群扩容场景说明 | 扩容类型 | 适用场景 | 变更流程 | |:---|:---|:---| | 添加新服务 | MRS集群创建成功后，管理员可手动为MRS添加当前集群未安装的或者之前手动删除的组件。 | - 如果当前MRS集群内已有的节点资源可以满足新增服务的资源，可直接在管理控制台上为MRS集群[添加新服务](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300012.html)。 - 如果当前MRS集群内已有的节点资源无法满足新增服务的资源，首先为MRS集群新增一个仅部署了基础角色实例的节点组，然后在该节点组上添加新服务，请参考[添加节点组]。 | | 扩容已有服务 | MRS集群内节点的资源无法满足已有组件的业务需求，对集群内的节点数量进行增加。 | - 对MRS集群内已有的节点组进行扩容，增加节点组内的节点数量，请参考[扩容节点组]。 - 对于Task节点组，可通过配置弹性伸缩规则，实现节点的自动扩缩容，请参考[MRS集群Task节点弹性伸缩](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0061.html)。 | | 扩容节点数据盘 | MRS集群节点的数据盘存储空间不足时，可以对节点组内各节点的数据盘进行扩容。 | 对指定节点组进行数据盘扩容操作，请参考[扩容MRS集群节点数据盘](https://support.huaweicloud.com/usermanual-mrs/mrs_01_249282.html)。 | #### 前提条件 - 处于"运行中"状态的MRS集群才能进行扩容操作。 - 扩容集群前需要检查集群安全组是否配置正确，要确保集群入方向安全组规则中有一条全部协议，全部端口，源地址为可信任的IP访问范围的规则。 - 仅MRS 3.x版本的自定义集群支持手动添加节点组。 #### 约束与限制 - 对已安装HBase组件的节点组扩容时： 如果集群没有开启节点自动注册DNS，扩容该节点组时需选择不启动组件，之后请参考[服务端配置过期后更新MRS集群客户端](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0090.html)更新完HBase客户端配置后再启动扩容节点上的HBase组件实例。 以下版本默认开启了集群自动注册DNS，也可以请通过[查询对应版本元数据](https://support.huaweicloud.com/api-mrs/ShowMrsVersionMetadata.html)查询返回体中features字段是否包含register_dns_server这个值来判断是否支持DNS特性。 MRS 1.9.3、MRS 3.1.0、MRS 3.1.2-LTS、MRS 3.1.5以及MRS 3.2.0-LTS及之后版本。 - 扩容后，MRS集群内节点已安装的客户端无需更新，集群外节点安装的客户端需参考[服务端配置过期后更新MRS集群客户端](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0090.html)进行更新。 - 集群扩容增加节点的**root**用户密码默认为创建MRS集群时用户自定义设置的密码。 - 对已安装ClickHouse组件的节点组扩容时： 扩容时不支持自动同步第三方数据源引擎表。如果使用了第三方数据源引擎表，需要在扩容完成后，用户在新扩容节点上手动创建第三方数据源引擎表。常用第三方数据源引擎包括MySQL、HDFS、Kafka、S3等。 - 集群扩容期间禁止操作：MRS集群扩容尚未完成（集群状态未变更为"运行中"）前，请勿通过ECS管理控制台对新扩容节点进行任何操作（包括但不限于修改节点名称、登录节点修改文件、关机、重启等）。此类操作会干扰扩容流程，引发节点不可用、集群状态异常等不可预期问题。 #### 操作视频 本视频介绍如何在管理控制台对MRS集群进行扩容、缩容操作。 因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。 #### 扩容节点组 1. 登录[MRS管理控制台](https://console.huaweicloud.com/mrs/)。 2. 选择"现有集群" ，选中一个运行中的集群并单击集群名称，进入集群信息页面。 3. 选择"节点管理"页签，在需要扩容的节点组的"操作"列单击"扩容"，进入扩容集群页面。 4. 设置"系统盘"和"数据盘"的类型、"扩容节点数量"、"启动组件"和"执行引导操作"参数，并单击"确定"。 图1扩容MRS集群 ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000002184960385.png "点击放大") - "启动组件"和"执行引导操作"参数部分版本的集群可能不支持，请以界面实际参数为准。 - 如果创建集群时添加了引导操作，则"执行引导操作"参数有效，开启该功能时扩容的节点会把创建集群时添加的引导操作脚本都执行一遍。 - 如果"新节点规格"参数有效，则表示与原有节点相同的规格已售罄或已下架，新扩容的节点将按照"新节点规格"增加。 5. 进入"扩容节点"窗口，单击"确认"。 如果集群为包周期类型，可根据实际情况选择并进行支付。 - 单击"提交订单"。 进入"购买MapReduce服务"页面，单击"确认付款"。 - 单击"确认订单，暂不付款"。 进入"集群信息页面"。选择"费用 \> 我的订单"，单击"支付"，进入费用中心进行支付。 ![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/note_3.0-zh-cn.png) 包周期集群在扩容新节点时，界面会显示当前扩容节点距离下一个计费周期之前的购买时长及配置费用，扩容成功后在后续的计费周期中与集群所有节点统一计算费用。 6. 页面右上角弹出扩容节点提交成功提示框。 集群扩容过程说明如下： - 扩容中：集群正在扩容时集群状态为"扩容中"。已提交的作业会继续执行，也可以提交新的作业，但不允许继续扩容和删除集群，也不建议重启集群和修改集群配置。 - 扩容成功：集群扩容成功后集群状态为"运行中"，计费会按照新增节点加上已有节点使用的资源计算。 - 扩容失败：集群扩容失败时集群状态为"运行中"。用户可以执行作业，也可以重新进行扩容操作。 扩容成功后，可以在集群详情的"节点管理"页签查看集群的节点信息。 #### 添加节点组 1. 登录[MRS管理控制台](https://console.huaweicloud.com/mrs/)。 2. 选择"现有集群"，选中一个待操作的运行中的集群并单击集群名称，进入集群概览信息页面。 3. 在集群详情页面，选择"节点管理"页签，单击"新增节点组"，进入"新增节点组"页面。 图2新增节点组 ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000002232120290.png) 4. 根据需求配置参数。 表2新增节点组 | 参数 | 描述 | |:---|:---| | 节点组名称 | 节点组名称不允许重复。 | | CPU架构 | MRS集群节点的CPU架构类型，可选择"x86计算"或者"鲲鹏计算"。 | | 节点类型 | - Task：Task节点是处理数据的实例，不存储集群数据，支持根据业务负载情况弹性伸缩。Task节点主要部署不存储数据的数据角色，例如NodeManager。Task类型的节点组支持配置弹性伸缩规则。 - Core：Core节点是处理数据和存储数据的实例，Core节点主要部署各组件数据存储类角色，例如DataNode、Broker等。 | | 节点规格 | 选择当前节点组对应节点的实例规格，规格配置越高，数据处理分析能力越强，集群所需费用也越高。 关于MRS集群节点规格的详细说明可参考[MRS集群节点规格说明](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300003.html)。 | | 节点数量 | 当前节点组所包含的节点个数。 | | 系统盘 | 节点系统盘的存储类型和存储空间，可根据需要进行调整，更多MRS集群存储说明请参考[集群节点磁盘类型](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300003.html#mrs_01_300003__section263010272476)。 | | 数据盘 | 节点数据盘的存储类型和存储空间，每个Core或者Task节点最多支持添加10块磁盘，更多MRS集群存储说明请参考[集群节点磁盘类型](https://support.huaweicloud.com/usermanual-mrs/mrs_01_300003.html#mrs_01_300003__section263010272476)。 | | 数据盘数量 | 节点组内每个节点的数据盘个数。 | | 部署角色 | 当前节点组内节点上需要部署的组件角色，系统仅支持添加当前集群中已安装组件的角色实例。 | | 付费类型 | 当前集群的计费模式说明。 | | 配置费用 | 新增节点组提交后，产生的具体费用说明。 | 5. 单击"确定"。 添加完成后，即可在节点管理页面查看到新增的节点组。 #### 添加Task节点组 MRS集群创建成功之后，如果需要规划Task类型的节点组进行弹性伸缩，可通过手动添加节点组的方式进行配置。 1. 登录[MRS管理控制台](https://console.huaweicloud.com/mrs/)。 2. 在"现有集群" 中单击待操作的集群名称，进入集群信息页面。 3. 在打开的"概览"页签查看"集群类型"。 - 如果集群类型为"自定义"，执行[步骤 4]。 - 如果集群类型不为"自定义"，执行[步骤 5]。 4. 为"自定义"类型集群添加Task节点。 1. 选择"节点管理"页签，单击"新增节点组"，进入"新增节点组"页面。 2. 节点类型选择"Task"，"部署角色"参数默认选择"NM"部署NodeManager角色，其他参数根据需要配置。 图3添加Task节点组 ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000002150236608.png "点击放大") 3. 单击"确定"，等待节点添加完成。操作结束，无需执行后续步骤。 5. 为非"自定义"类型集群添加Task节点。 1. 选择"节点管理"页签，单击"配置Task节点"，进入"配置Task节点"页面。 2. 配置"节点类型"、"节点规格"、"节点数量"、"系统盘"，如开启"添加数据盘"后，还需要配置数据盘的存储类型、大小和数量。 下图以为分析集群配置Task节点为例，具体界面以实际为准。 图4为分析集群配置Task节点 ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000002313082006.png "点击放大") 3. 单击"确定"，等待节点添加完成。 #### 相关文档 - 扩容后，如需更新集群外节点安装的客户端，具体操作请参见[服务端配置过期后更新MRS集群客户端](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0090.html)。 - 扩容后，如需对HDFS数据进行均衡操作，具体操作请参见[配置DataNode容量均衡](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1667.html)。如需对Kafka数据进行均衡操作，具体操作请参见[Kafka均衡工具使用说明](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_1040.html)。 - Core节点扩容后，CPU使用率变高，而Master节点规格已经不满足用户需求时，则需要升级Master节点规格，具体操作请参见[升级MRS集群Master节点规格](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0626.html)。 - 当MRS集群节点的数据盘存储空间不足时，可以进行数据盘扩容操作，具体操作请参见[扩容MRS集群节点数据盘](https://support.huaweicloud.com/usermanual-mrs/mrs_01_249282.html)。 - Core节点扩容完成，但节点上存在启动失败的实例，处理该故障的具体操作请参见[MRS集群Core节点扩容成功后部分实例启动失败](https://support.huaweicloud.com/trouble-mrs/mrs_03_0821.html)。 - 如需通过API方式扩容MRS集群，具体操作请参见[扩容集群](https://support.huaweicloud.com/api-mrs/ExpandCluster.html)。 - 添加引导操作相关步骤请参见[配置MRS集群节点引导操作](https://support.huaweicloud.com/usermanual-mrs/mrs_01_24565.html)。 - 关于更多扩缩容介绍请参见[集群在线扩缩容](https://support.huaweicloud.com/productdesc-mrs/mrs_08_0054.html)。