文档首页> MapReduce服务 MRS> 产品介绍> 组件介绍> ZooKeeper> ZooKeeper与其他组件的关系
更新时间:2022-05-07 GMT+08:00
分享

ZooKeeper与其他组件的关系

ZooKeeper和HDFS的关系

ZooKeeper与HDFS的关系如图1所示。

图1 ZooKeeper和HDFS的关系

ZKFC(ZKFailoverController)作为一个ZooKeeper集群的客户端,用来监控NameNode的状态信息。ZKFC进程仅在部署了NameNode的节点中存在。HDFS NameNode的Active和Standby节点均部署有zkfc进程。

  1. HDFS NameNode的ZKFC连接到ZooKeeper,把主机名等信息保存到ZooKeeper中,即“/hadoop-ha”下的znode目录里。先创建znode目录的NameNode节点为主节点,另一个为备节点。HDFS NameNode Standby通过ZooKeeper定时读取NameNode信息。
  2. 当主节点进程异常结束时,HDFS NameNode Standby通过ZooKeeper感知“/hadoop-ha”目录下发生了变化,NameNode会进行主备切换。

ZooKeeper和YARN的关系

ZooKeeper与YARN的关系如图2所示。

图2 ZooKeeper与YARN的关系
  1. 在系统启动时,ResourceManager会尝试把选举信息写入ZooKeeper,第一个成功写入ZooKeeper的ResourceManager被选举为Active ResourceManager,另一个为Standby ResourceManager。Standby ResourceManager定时去ZooKeeper监控Active ResourceManager选举信息。
  2. Active ResourceManager还会在ZooKeeper中创建Statestore目录,存储Application相关信息。当Active ResourceManager产生故障时,Standby ResourceManager会从Statestore目录获取Application相关信息,恢复数据。

ZooKeeper和HBase的关系

ZooKeeper与HBase的关系如图3所示。

图3 ZooKeeper和HBase的关系
  1. HRegionServer以Ephemeral node的方式注册到ZooKeeper中。其中ZooKeeper存储HBase的如下信息:HBase元数据、HMaster地址。
  2. HMaster通过ZooKeeper随时感知各个HRegionServer的健康状况,以便进行控制管理。
  3. HBase也可以部署多个HMaster,类似HDFS NameNode,当HMaster主节点出现故障时,HMaster备用节点会通过ZooKeeper获取主HMaster存储的整个HBase集群状态信息。即通过ZooKeeper实现避免HBase单点故障问题的问题。

ZooKeeper和Kafka的配合关系

ZooKeeper与Kafka的关系如图 ZooKeeper和Kafka的关系所示。

图4 ZooKeeper和Kafka的关系
  1. Broker端使用ZooKeeper用来注册broker信息,并进行partition leader选举。
  2. Consumer端使用ZooKeeper用来注册consumer信息,其中包括consumer·消费的partition列表等,同时也用来发现broker列表,并和partition leader建立socket连接,并获取消息。
分享:

    相关文档

    相关产品

close