更新时间:2023-03-17 GMT+08:00

Yarn与其他组件的关系

Yarn和Spark组件的关系

Spark的计算调度方式,可以通过Yarn的模式实现。Spark共享Yarn集群提供丰富的计算资源,将任务分布式的运行起来。Spark on Yarn分两种模式:Yarn Cluster和Yarn Client。

  • Yarn Cluster模式

    运行框架如图1所示。

    图1 Spark on yarn-cluster运行框架

    Spark on yarn-cluster实现流程:

    1. 首先由客户端生成Application信息,提交给ResourceManager。
    2. ResourceManager为Spark Application分配第一个Container(ApplicationMaster),并在该Container上启动Driver。
    3. ApplicationMaster向ResourceManager申请资源以运行Container。

      ResourceManager分配Container给ApplicationMaster,ApplicationMaster和相关的NodeManager通讯,在获得的Container上启动Executor,Executor启动后,开始向Driver注册并申请Task。

    4. Driver分配Task给Executor执行。
    5. Executor执行Task并向Driver汇报运行状况。
  • Yarn Client模式

    运行框架如图2所示。

    图2 Spark on yarn-client运行框架

    Spark on yarn-client实现流程:

    在yarn-client模式下,Driver部署在Client端,在Client端启动。yarn-client模式下,不兼容老版本的客户端。推荐使用yarn-cluster模式。

    1. 客户端向ResourceManager发送Spark应用提交请求,ResourceManager为其返回应答,该应答中包含多种信息(如ApplicationId、可用资源使用上限和下限等)。Client端将启动ApplicationMaster所需的所有信息打包,提交给ResourceManager上。
    2. ResourceManager收到请求后,会为ApplicationMaster寻找合适的节点,并在该节点上启动它。ApplicationMaster是Yarn中的角色,在Spark中进程名字是ExecutorLauncher。
    3. 根据每个任务的资源需求,ApplicationMaster可向ResourceManager申请一系列用于运行任务的Container。
    4. 当ApplicationMaster(从ResourceManager端)收到新分配的Container列表后,会向对应的NodeManager发送信息以启动Container。

      ResourceManager分配Container给ApplicationMaster,ApplicationMaster和相关的NodeManager通讯,在获得的Container上启动Executor,Executor启动后,开始向Driver注册并申请Task。

      正在运行的container不会被挂起释放资源。

    5. Driver分配Task给Executor执行。Executor执行Task并向Driver汇报运行状况。

Yarn和MapReduce的关系

MapReduce是运行在Yarn之上的一个批处理的计算框架。MRv1是Hadoop 1.0中的MapReduce实现,它由编程模型(新旧编程接口)、运行时环境(由JobTracker和TaskTracker组成)和数据处理引擎(MapTask和ReduceTask)三部分组成。该框架在扩展性、容错性(JobTracker单点)和多框架支持(仅支持MapReduce一种计算框架)等方面存在不足。MRv2是Hadoop 2.0中的MapReduce实现,它在源码级重用了MRv1的编程模型和数据处理引擎实现,但运行时环境由Yarn的ResourceManager和ApplicationMaster组成。其中ResourceManager是一个全新的资源管理系统,而ApplicationMaster则负责MapReduce作业的数据切分、任务划分、资源申请和任务调度与容错等工作。

Yarn和ZooKeeper的关系

ZooKeeper与Yarn的关系如图3所示。

图3 ZooKeeper与Yarn的关系
  1. 在系统启动时,ResourceManager会尝试把选举信息写入ZooKeeper,第一个成功写入ZooKeeper的ResourceManager被选举为Active ResourceManager,另一个为Standby ResourceManager。Standby ResourceManager定时去ZooKeeper监控Active ResourceManager选举信息。
  2. Active ResourceManager还会在ZooKeeper中创建Statestore目录,存储Application相关信息。当Active ResourceManager产生故障时,Standby ResourceManager会从Statestore目录获取Application相关信息,恢复数据。

Yarn和Tez的关系

Hive on Tez作业信息需要Yarn提供TimeLine Server能力,以支持Hive任务展示应用程序的当前和历史状态,便于存储和检索。