更新时间:2023-03-17 GMT+08:00

资源概述

MRS集群的资源分为计算资源和存储资源。多租户可实现资源的隔离:

  • 计算资源

    计算资源包括CPU和内存。租户之间不可以相互占用计算资源,私有计算资源独立。

  • 存储资源

    存储资源包括磁盘或第三方存储系统。租户之间不可以相互访问数据,私有存储资源独立。

计算资源

计算资源可分为静态服务资源和动态资源:

  • 静态服务资源

    静态服务资源是集群分配给各个服务的计算资源,每个服务的计算资源总量固定,不与其他服务共享,是静态的。这些服务包括Flume、HBase、HDFS和Yarn。

  • 动态资源

    动态资源是分布式资源管理服务Yarn动态调度给任务队列的计算资源。Mapreduce、Spark2x、Flink和Hive的任务队列由Yarn来动态调度资源。

大数据集群为Yarn分配的资源是静态服务资源,可以由Yarn动态分配给任务队列计算使用。

存储资源

存储资源是分布式文件存储服务HDFS中可分配的数据存储空间资源。目录是HDFS存储资源分配的基本单位,租户通过指定HDFS文件系统的目录来获取存储资源。