扩容MRS集群

前提条件

• 处于“运行中”状态的MRS集群才能进行扩容操作。
• 扩容集群前需要检查集群安全组是否配置正确，要确保集群入方向安全组规则中有一条全部协议，全部端口，源地址为可信任的IP访问范围的规则。
• 仅MRS 3.x版本的自定义集群支持手动添加节点组。

约束与限制

• 对已安装HBase组件的节点组扩容时：

  如果集群没有开启节点自动注册DNS，扩容该节点组时需选择不启动组件，之后请参考服务端配置过期后更新MRS集群客户端更新完HBase客户端配置后再启动扩容节点上的HBase组件实例。

  以下版本默认开启了集群自动注册DNS，也可以请通过查询对应版本元数据查询返回体中features字段是否包含register_dns_server这个值来判断是否支持DNS特性。

  MRS 1.9.3、MRS 3.1.0、MRS 3.1.2-LTS、MRS 3.1.5以及MRS 3.2.0-LTS。

• 扩容后，MRS集群内节点已安装的客户端无需更新，集群外节点安装的客户端需参考服务端配置过期后更新MRS集群客户端进行更新。
• 集群扩容增加节点的root用户密码默认为创建MRS集群时用户自定义设置的密码。

操作视频

本视频介绍如何在管理控制台对MRS集群进行扩容、缩容操作。

因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。

扩容节点组

1. 登录MRS管理控制台。
2. 选择“现有集群” ，选中一个运行中的集群并单击集群名称，进入集群信息页面。
3. 选择“节点管理”页签，在需要扩容的节点组的“操作”列单击“扩容”，进入扩容集群页面。
4. 设置“系统盘”和“数据盘”的类型、“扩容节点数量”、“启动组件”和“执行引导操作”参数，并单击“确定”。
   图1 扩容MRS集群
   
   • “启动组件”和“执行引导操作”参数部分版本的集群可能不支持，请以界面实际参数为准。
   • 如果创建集群时添加了引导操作，则“执行引导操作”参数有效，开启该功能时扩容的节点会把创建集群时添加的引导操作脚本都执行一遍。
   • 如果“新节点规格”参数有效，则表示与原有节点相同的规格已售罄或已下架，新扩容的节点将按照“新节点规格”增加。

5. 进入“扩容节点”窗口，单击“确认”。

   如果集群为包周期类型，可根据实际情况选择并进行支付。

   • 单击“提交订单”。

     进入“购买MapReduce服务”页面，单击“确认付款”。

   • 单击“确认订单，暂不付款”。

     进入“集群信息页面”。选择“费用 > 我的订单”，单击“支付”，进入费用中心进行支付。

6. 页面右上角弹出扩容节点提交成功提示框。
   集群扩容过程说明如下：

   • 扩容中：集群正在扩容时集群状态为“扩容中”。已提交的作业会继续执行，也可以提交新的作业，但不允许继续扩容和删除集群，也不建议重启集群和修改集群配置。
   • 扩容成功：集群扩容成功后集群状态为“运行中”，计费会按照新增节点加上已有节点使用的资源计算。
   • 扩容失败：集群扩容失败时集群状态为“运行中”。用户可以执行作业，也可以重新进行扩容操作。

   扩容成功后，可以在集群详情的“节点管理”页签查看集群的节点信息。

添加节点组

1. 登录MRS管理控制台。
2. 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群概览信息页面。
3. 在集群详情页面，选择“节点管理”页签，单击“新增节点组”，进入“新增节点组”页面。
   图2 新增节点组
   

4. 根据需求配置参数。

   表2 新增节点组

   参数	描述
   节点组名称	节点组名称不允许重复。
   CPU架构	MRS集群节点的CPU架构类型，可选择“x86计算”或者“鲲鹏计算”。
   节点类型	Task：Task节点是处理数据的实例，不存储集群数据，支持根据业务负载情况弹性伸缩。Task节点主要部署不存储数据的数据角色，例如NodeManager。Task类型的节点组支持配置弹性伸缩规则。 Core：Core节点是处理数据和存储数据的实例，Core节点主要部署各组件数据存储类角色，例如DataNode、Broker等。
   节点规格	选择当前节点组对应节点的实例规格，规格配置越高，数据处理分析能力越强，集群所需费用也越高。 关于MRS集群节点规格的详细说明可参考MRS集群节点规格说明。
   节点数量	当前节点组所包含的节点个数。
   系统盘	节点系统盘的存储类型和存储空间，可根据需要进行调整，更多MRS集群存储说明请参考磁盘角色。
   数据盘	节点数据盘的存储类型和存储空间，每个Core或者Task节点最多支持添加10块磁盘，更多MRS集群存储说明请参考磁盘角色。
   数据盘数量	节点组内每个节点的数据盘个数。
   部署角色	当前节点组内节点上需要部署的组件角色，系统仅支持添加当前集群中已安装组件的角色实例。
   付费类型	当前集群的计费模式说明。
   配置费用	新增节点组提交后，产生的具体费用说明。

5. 单击“确定”。

   添加完成后，即可在节点管理页面查看到新增的节点组。

添加Task节点组

MRS集群创建成功之后，如果需要规划Task类型的节点组进行弹性伸缩，可通过手动添加节点组的方式进行配置。

1. 登录MRS管理控制台，在“现有集群” 中单击待操作的集群名称，进入集群信息页面。
2. 在打开的“概览”页签查看“集群类型”。
   • 如果集群类型为“自定义”，执行步骤 3。
   • 如果集群类型不为“自定义”，执行步骤 4。

3. 为“自定义”类型集群添加Task节点。
   1. 选择“节点管理”页签，单击“新增节点组”，进入“新增节点组”页面。
   2. 节点类型选择“Task”，“部署角色”参数默认选择“NM”部署NodeManager角色，其他参数根据需要配置。
      图3 添加Task节点组
      
   3. 单击“确定”，等待节点添加完成。操作结束，无需执行后续步骤。

4. 为非“自定义”类型集群添加Task节点。
   1. 选择“节点管理”页签，单击“配置Task节点”，进入“配置Task节点”页面。
   2. 配置“节点类型”、“节点规格”、“节点数量”、“系统盘”，如开启“添加数据盘”后，还需要配置数据盘的存储类型、大小和数量。

      下图以为分析集群配置Task节点为例，具体界面以实际为准。

      图4 为分析集群配置Task节点
      
   3. 单击“确定”，等待节点添加完成。

相关文档

• 扩容后，如需更新集群外节点安装的客户端，具体操作请参见服务端配置过期后更新MRS集群客户端。
• 扩容后，如需对HDFS数据进行均衡操作，具体操作请参见配置DataNode容量均衡。如需对Kafka数据进行均衡操作，具体操作请参见Kafka均衡工具使用说明。
• Core节点扩容后，CPU使用率变高，而Master节点规格已经不满足用户需求时，则需要升级Master节点规格，具体操作请参见升级MRS集群Master节点规格。
• 当MRS集群节点的数据盘存储空间不足时，可以进行数据盘扩容操作，具体操作请参见扩容MRS集群节点数据盘。
• Core节点扩容完成，但节点上存在启动失败的实例，处理该故障的具体操作请参见MRS集群Core节点扩容成功后部分实例启动失败。
• 当集群节点的数据盘存储空间不足时，可以进行数据盘扩容操作，具体操作请参见扩容MRS集群节点数据盘
• 如需通过API方式扩容MRS集群，具体操作请参见扩容集群。
• 添加引导操作相关步骤请参见配置MRS集群节点引导操作。
• 关于更多扩缩容介绍请参见集群在线扩缩容。