# 升级MRS集群Master节点规格 随着用户业务的增长和Core节点的扩容，集群CPU使用率逐渐升高，原有Master节点规格可能已无法满足当前业务需求。当Master节点资源不足时，会影响集群管理效率和组件运行稳定性，此时需要升级Master节点规格以保障集群正常运行。本文介绍通过MRS管理控制台升级Master节点规格的两种方式：一键升级和分步升级。 #### 前提条件 - 确认是否开启了主机安全服务（Host Security Service，简称HSS），如果已开启，升级Master节点规格前需要先暂时关闭HSS服务对MRS集群的监测，升级完成后再重新开启。 - [集群Master节点规格升级（分步升级）]时，请确保全程升级过程中有足够的规格资源。 #### 约束限制 - 支持2个及以上Master节点的集群升级Master节点规格 。 - 不支持使用BMS类型规格的集群升级Master节点规格 。 - 不支持本地盘规格升级规格。 - MRS 1.8.2及之后版本至MRS 3.x之前版本、MRS 3.1.0及之后版本，请参考[集群Master节点规格升级（一键升级）]。 - MRS 1.8.2之前版本和MRS 3.0.5版本，请参考[集群Master节点规格升级（分步升级）]操作。 - 升级过程中请勿对集群进行其他操作。 - **升级Master节点规格会导致业务中断，请尽量安排业务空闲期升级Master节点规格。** #### 集群Master节点规格升级（一键升级） 1. 登录[MRS管理控制台](https://console.huaweicloud.com/mrs/)。 2. 选择"现有集群"，选中一个待操作的运行中的集群并单击集群名称，进入集群概览信息页面。 3. 在"节点管理"页签Master节点组的"操作"列选择"升级规格"，进入"升级Master规格"页面。 4. 选择升级后的规格，单击"提交"成功提交升级Master规格任务。 节点规格升级过程需要时间，升级成功后集群状态更新为"运行中"，请您耐心等待。 - 升级过程中集群会自动关闭升级的虚拟机，升级完成后自动开启该虚拟机 。 - 因用户对组件使用需求不同，节点规格升级成功后不会自动更新组件内存配置，用户可根据实际使用情况自行调整各组件内存配置。 **验证升级结果：** 升级完成后，在集群详情页确认集群状态为"运行中"。在"节点管理"页签查看Master节点规格是否已更新为目标规格。 #### 集群Master节点规格升级（分步升级） 分步升级包含三个阶段：升级前准备、升级操作和升级后操作。**该方式需要手动停止和启动服务，操作较为复杂，请严格按照步骤顺序执行。** **Master节点规格升级前准备** 1. 登录[MRS管理控制台](https://console.huaweicloud.com/mrs/)。 2. 选择 "现有集群" ，选中需要升级Master节点规格的集群并单击集群名，进入集群信息页面。 3. 查看集群状态，确保集群状态为"运行中"。 4. 在"节点管理"页签查看各节点状态，确保集群所有节点的状态为"运行中"。 5. 登录Manager，进入集群管理页面，具体请参见[访问MRS集群Manager](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0128.html)。 6. 选择"集群 \> 服务 \> ZooKeeper \> 概览"，确保ZooKeeper服务的"运行状态"为"良好"。 图1ZooKeeper服务状态 ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000001925500817.png "点击放大") 7. 用户根据自己的需要更新服务参数配置，具体请参考[修改MRS集群组件配置参数](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0204.html)。 **该步骤仅在升级备Master节点前操作一次即可。** 8. 选择"集群 \> 服务 \> HDFS \> 实例"。 9. 记录"NameNode(备)"的业务IP，当升级主Master节点规格时请记录"NameNode(主)"的业务IP，如[图2]所示。 仅当集群类型为分析集群时执行[步骤 8]\~[步骤 9]分别记录主备节点的IP。 图2NameNode业务IP ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000001925500821.png "点击放大") 10. 在Manager页面右上方查看![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000001879421952.png)图形的右侧数字，确保该数字显示为"0"表示集群的运行任务数为0。 11. 单击"主机 "，若集群类型为分析集群，则勾选[步骤 9]记录的"NameNode"的业务IP所对应的主机前的复选框。若集群类型为流式集群，则不区分主备节点，分别选择主机升级即可。 12. 选择"更多 \> 停止所有实例"，并等待所有实例停止完成。 - 当升级Manager所在的节点时，可能出现Manager无法登录问题，是Manager所在的节点在进行主备倒换的正常现象，请稍后重新登录即可。若长时间无法登录，请联系运维人员处理。 - 停止所有角色后，可能出现如下告警，Master节点规格升级完成并启动所有角色后，告警将自动恢复。 - [ALM-12006 节点故障](https://support.huaweicloud.com/usermanual-mrs/ALM-12006.html) - [ALM-12010 Manager主备节点间心跳中断](https://support.huaweicloud.com/usermanual-mrs/ALM-12010.html) - [ALM-12039 OMS数据库主备不同步](https://support.huaweicloud.com/usermanual-mrs/ALM-12039.html) - [ALM-14000 HDFS服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-14000.html) - [ALM-14010 NameService服务异常](https://support.huaweicloud.com/usermanual-mrs/ALM-14010.html) - [ALM-14012 Journalnode数据不同步](https://support.huaweicloud.com/usermanual-mrs/ALM-14012.html) - [ALM-16004 Hive服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-16004.html) - [ALM-18000 Yarn服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-18000.html) - [ALM-19000 HBase服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-19000.html) - [ALM-20002 Hue服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-20002.html) - [ALM-27001 DBService服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-27001.html) - [ALM-27003 DBService主备节点间心跳中断](https://support.huaweicloud.com/usermanual-mrs/ALM-27003.html) - [ALM-27004 DBService主备数据不同步](https://support.huaweicloud.com/usermanual-mrs/ALM-27004.html) - [ALM-43001 Spark2x服务不可用](https://support.huaweicloud.com/usermanual-mrs/ALM-43001.html) **Master节点规格升级操作** 以下步骤将依次完成备Master节点和主Master节点的规格升级。升级过程中请勿关闭或刷新浏览器页面。 1. 登录[MRS管理控制台](https://console.huaweicloud.com/mrs/)。 2. 选择 "现有集群" ，选中需要升级Master节点规格的集群并单击集群名，进入集群信息页面。 3. 在"节点管理"页签Master节点组的"操作"列选择"升级规格"。 4. 选择升级后的规格，单击"下一步"。 ![](https://support.huaweicloud.com/usermanual-mrs/public_sys-resources/warning_3.0-zh-cn.png) 选择升级后的规格时，务必确保待升级规格资源足够，以免出现升级完备节点后规格资源不足无法继续升级主节点的情况。 5. 在弹出的"确认"页面确认升级后的节点规格及费用，确认无误后单击"确认"。 6. 确保已停止备Master节点的所有服务（详细操作请参考**Master节点规格升级前准备** 的[步骤 1]-[步骤 12]），在"升级Master规格"页面勾选"我已确认关闭备master节点上的所有服务"和"若升级前未成功停止所有服务，可能导致数据保存失败或损坏"两项提示内容，并单击"提交订单"。 7. 在弹出的"警告"页面，再次确认已确认关闭备master节点上的所有服务，然后单击"确定"开始升级备Master节点的规格。 节点规格升级需要时间，请耐心等待。升级成功后集群状态更新为"Master备节点升级完成"，否则请联系运维人员处理。 8. 备Master节点升级成功后，参考****Master节点规格升级后操作**** 的[步骤 1]-[步骤 11]完成备Master节点所有服务的启动及参数配置。 9. 备Master节点服务启动正常后，进行NameNode主备倒换。仅当集群类型为分析集群时执行该步骤，流式集群跳过该步骤。 1. 分别访问主备节点的NameNode WebUI界面，NameNode WebUI访问方法请参考[步骤 11]。 2. 分别在NameNode WebUI页面的标题栏选择"Overview"，查看并记录主备节点的Namenode ID。记录后不要关闭该页面。 图3主节点的Namenode ID ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000001925621161.png "点击放大") 3. 任意登录一个Master节点的弹性云服务器，执行如下命令配置环境变量。 ``` source /opt/Bigdata/client/bigdata_env ``` 4. 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 ``` kinit MRS集群用户 ``` 例如： ``` kinit admin ``` 5. 执行如下命令进行NameNode主备倒换。 ``` hdfs haadmin -failover <主节点Namenode ID> <备节点Namenode ID> ``` 6. 进入[9.b]中未关闭的NameNode WebUI页面，然后刷新该页面，可以看到该NameNode已经主备倒换完成。 图4NameNode ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000001879421948.png "点击放大") 10. 参考**Master节点规格升级前准备** 的[步骤 1]-[步骤 12]，停止主Master节点的所有服务。 11. 在"升级Master规格"页面勾选"我已确认启动备master节点上的所有服务"和"我已确认关闭主master节点的所有服务"，并单击"提交主节点升级订单"。 12. 在弹出的"确认"页面再次确认已停止主Master节点的所有服务，然后单击"确定"开始升级主Master节点的规格。 节点规格升级过程需要时间，请您耐心等待。升级成功后集群状态更新为"Master升级规格成功"，否则请联系运维人员处理。 13. 参考**Master节点规格升级后操作** 的[步骤 1]-[步骤 11]完成主Master节点所有服务的启动及参数配置。 14. 在"升级Master规格"页面勾选"我已确认启动主master节点上的所有服务"，并单击"确定"完成Master规格升级。 **Master节点规格升级后操作** 以下步骤用于在规格升级完成后，启动节点上的所有服务并验证服务状态，确保集群恢复正常运行。 1. 登录MRS集群Manager界面。 登录集群Manager界面请参考[访问MRS集群Manager](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0128.html)。 2. 单击"主机 "，查看Master节点规格升级前准备中[步骤 9]记录的"NameNode"的业务IP所对应的主机是否满足"运行状态"是为"良好"，"磁盘"、"内存"、"CPU使用率"显示正常（有数值），若满足执行[步骤 9]。若不满足执行下一步。 3. 远程登录备Master节点，详情请参见[登录MRS集群节点](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0083.html)。 4. 执行以下命令切换为omm用户。 ``` su - omm ``` 5. 执行以下命令启动Agent。 ``` sh /opt/Bigdata/nodeagent/bin/start-agent.sh ``` 6. 执行以下命令确认Agent启动成功。 ``` jps | grep NodeAgent ``` 7. 登录Manager，进入集群管理页面，具体请参考[访问MRS集群Manager](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0128.html)。 8. 单击"主机 "，查看Master节点规格升级前准备中[步骤 9]记录的"NameNode"的业务IP所对应的主机，确保其"运行状态"是为"良好"，"磁盘"、"内存"、"CPU使用率"显示正常（有数值）。 Agent成功启动到主机状态显示正常，最长可能需要3分钟时间生效，请耐心等待。若长时间显示异常，请联系运维人员处理。 9. 在Manager单击"主机 "，勾选Master节点规格升级前准备中[步骤 9]记录的"NameNode"的业务IP所对应的主机前的复选框。 10. 选择"更多\> 启动所有实例"，并等待所有实例启动完成。 11. 访问NameNode WebUI界面，查看NameNode启动状态。 1. 在Manager页面选择"集群 \> 服务 \> HDFS \> 概览"。 2. 在"HDFS 概述"栏目，单击"NameNode WebUI"右侧升级完成的备节点或主节点的"NameNode"。 3. 进入NameNode WebUI界面，在标题栏选择"Startup Progress"，确保Percent Complete显示100%后再执行下一步，如[图5]所示。 图5NameNode的启动状态 ![](https://support.huaweicloud.com/usermanual-mrs/zh-cn_image_0000001879581820.png "点击放大") 仅当集群类型为分析集群时执行[步骤 11]，流式集群跳过该步骤。 12. 验证升级结果。 完成上述所有操作后，请验证以下内容： - 在MRS管理控制台确认集群状态为"运行中"。 - 在"节点管理"页签确认主备Master节点规格均已更新为目标规格。 - 在Manager界面确认所有服务状态为"良好"，无未恢复的告警。 #### 常见问题 - **升级Master节点规格时Manager无法登录怎么办？** 当升级Manager所在节点时，Manager会进行主备倒换，导致短暂无法登录，这是正常现象。请稍后重新登录即可。若长时间无法登录，请联系运维人员处理。 - **升级Master节点规格后出现告警怎么办？** 停止所有角色后，集群可能出现节点故障、服务不可用等告警，这些告警在Master节点规格升级完成并启动所有角色后将自动恢复。如升级完成后告警仍未恢复，请检查对应服务状态并联系运维人员处理。 - **一键升级后组件内存配置未更新怎么办？** 一键升级方式不会自动更新组件内存配置，您需要根据实际使用情况手动调整各组件内存配置。了解如何修改，请参考[修改MRS集群组件配置参数](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0204.html)。 #### 相关文档 - 了解如何登录MRS集群Manager界面，请参考[访问MRS集群Manager](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0128.html)。 - 了解如何远程登录MRS集群节点，请参考[登录MRS集群节点](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0083.html)。 - 了解如何修改集群组件配置参数，包括内存配置，请参考[修改MRS集群组件配置参数](https://support.huaweicloud.com/usermanual-mrs/mrs_01_0204.html)。