更新时间:2022-12-14 GMT+08:00

Mapreduce如何从单实例转换为HA

操作场景

Mapreduce的JobHistoryServer服务为单实例,或者安装集群时,使用单实例安装Mapreduce服务。如果用户想要避免JobHistoryServer单点故障问题,可以通过开启JobHistoryServer HA来确保Mapreduce服务的高可用性。

对系统的影响

  • 转换前,需要修改Mapreduce的服务端参数JHS_FLOAT_IP为一个可用的浮动IP(单实例时该配置默认使用节点业务IP)。
  • 转换过程中,依赖Mapreduce的组件服务会出现配置过期,需要重启过期的组件服务,如Hive、HBase等。
  • 转换后,需要更新Yarn客户端的配置文件。若不更新,会引起Yarn原生页面的应用任务的日志查询失败。

操作步骤

  1. 登录Manager管理界面,选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > 配置”,打开Mapreduce服务配置页面。
  2. 修改配置项“JHS_FLOAT_IP”的值为一个可用的浮动IP,然后选择“保存 > 确定”,保存配置成功。
  3. 选择“实例 > 添加实例”,选择一个节点,选择“下一步 > 下一步 > 提交”,添加实例成功。
  4. 单击Manager主页上待操作集群的名称后的,选择“重启配置过期的实例”,重启实例成功。
  5. 查看重启后的各实例,以Mapreduce为例,主备显示和运行状态正常。