问题现象
客户MRS集群,在ECS侧将所有节点的VPC切换后集群状态异常。
![点击放大](https://support.huaweicloud.com/intl/zh-cn/trouble-mrs/zh-cn_image_0000001430436097.png)
所有服务不可用,其中Hive beeline报错如下:
![点击放大](https://support.huaweicloud.com/intl/zh-cn/trouble-mrs/zh-cn_image_0000001380596582.png)
原因分析
MRS不支持切换VPC,切换VPC后,节点的内网IP变化,但是配置文件和数据库还是原有的IP,导致集群通信等功能异常,集群状态也会异常。所以要恢复集群,就需要将节点切回到原来的VPC,并且IP和hosts文件中的IP主机映射一一对应。
处理步骤
- 登录集群Master1节点,执行ifconfig查看到切换后的VPC。 执行命令cat /etc/hosts,查看host文件中记录切换VPC之前的IP。
- 登录MRS管理控制台,在MRS集群概览页面查看“集群ID”和“虚拟私有云”名称。
- 登录ECS管理控制台,在搜索栏选择“名称”输入MRS集群ID,搜索MRS集群的所有节点。
![点击放大](https://support.huaweicloud.com/intl/zh-cn/trouble-mrs/zh-cn_image_0000001380448878.png)
- 在MRS集群节点的操作列选择“更多 > 网络设置 > 切换VPC”,切换节点VPC。
- 每个节点都需要切换VPC。
- 切换VPC时“虚拟私有云”、“子网”、“安全组”需要和集群初始的配置一致。
- “私有IP地址”选择“现在创建”,填写1中查询对应节点的IP。
- 切换成功后,单击节点名称,需要在节点的“弹性网卡”中重启“源/目的检查”。
- 将虚拟IP重新绑定到集群的Master节点上,操作如下:
- 登录MRS管理控制台,进入MRS集群,在“概览”页面单击“前往Manager”后的
, “访问方式”选择“专线访问”,记录集群浮动IP。查看“默认生效子网”后的子网,并记录。
- 登录VPC管理控制台,选择“虚拟私有云 > 子网”,搜索MRS集群的子网。
- 单击子网名称,进入子网详情页面,单击“IP地址管理”,搜索MRS集群浮动IP。
- MRS集群浮动IP“操作”列的“绑定服务器”,选择MRS集群的Master节点,绑定成功后如下图:
![点击放大](https://support.huaweicloud.com/intl/zh-cn/trouble-mrs/zh-cn_image_0000001380373318.png)
- 等待集群恢复。