更新时间:2024-10-11 GMT+08:00

静态服务资源

简介

集群分配给各个服务的资源是静态服务资源,这些服务包括Flume、HBase、HDFS、IoTDB、Kafka(Kafka组件仅MRS 3.2.0及之后版本支持静态服务池)和Yarn。每个服务的计算资源总量固定,不与其他服务共享,是静态的。租户通过独占或共享一个服务来获取这个服务运行时需要的资源。

静态服务池

静态服务池用来指定服务资源的配置。

在服务级别上,静态服务池对各服务可使用的资源进行统一管理:

  • 限制服务使用的资源总量,支持配置Flume、HBase、HDFS、IoTDB、Kafka(Kafka组件仅MRS 3.2.0及之后版本支持静态服务池)和Yarn在部署节点可使用的CPU、I/O和内存总量。
  • 实现服务级别的资源隔离,可将集群中的服务与其他服务隔离,使一个服务上的负载对其他服务产生的影响有限。

调度机制

静态服务资源支持基于时间的动态调度机制,可以在不同时间段为服务配置不同的资源量,优化客户业务运行环境,提高集群的效率。

在一个复杂的集群环境中,多种服务共享使用集群资源,但是各服务的资源使用周期可能会有比较大的区别。

例如以下业务场景,对于一个银行客户:

  • 在白天HBase查询服务的业务多。
  • 在晚上查询服务的业务少而Hive分析服务业务多。

如果只给每个服务设置固定的资源可能会导致:

  • 白天查询服务的资源不够用,分析服务的资源空闲。
  • 晚上分析服务的资源不够用,查询服务的资源空闲。

集群资源利用率不高,而且服务能力也打了折扣。因此:

  • 白天多配置HBase服务资源。
  • 晚上多配置Hive服务资源。

这种基于时间的动态调度机制可以更高效的利用资源,运行任务。