更新时间:2026-08-14 GMT+08:00
分享

添加MRS租户资源池

MRS租户资源池功能适用于需要对集群计算资源进行逻辑隔离和按需分配的MRS集群管理员和运维工程师。

典型业务场景包括:

  • 多租户资源隔离:多个业务部门共享同一MRS集群时,通过资源池将节点划分到不同部门,避免资源争抢。
  • 按业务优先级分配资源:将高优先级业务的计算任务绑定到资源充足的资源池,低优先级业务使用剩余资源池,保障核心业务的服务质量。
  • 混合负载管理:将实时分析任务和离线批处理任务分别调度到不同资源池,避免离线任务影响实时任务的响应延迟。

建议在集群规划阶段提前设计资源池划分方案,避免业务运行中频繁调整资源池导致任务调度中断。

在MRS集群中,用户从逻辑上对YARN集群的节点进行分区,使多个NodeManager形成一个YARN资源池。每个NodeManager只能属于一个资源池。系统中默认包含了一个名为“default”的资源池,所有未加入用户自定义资源池的NodeManager属于此资源池。

该任务指导用户通过MRS添加一个自定义的资源池,并将未加入自定义资源池的主机加入此资源池。

基本概念

  • YARN(Yet Another Resource Negotiator):Hadoop集群的资源管理和作业调度框架,负责统一管理集群计算资源(CPU、内存)并将资源分配给运行中的应用程序。
  • NodeManager:YARN中每个节点上运行的代理进程,负责管理单个节点的资源(如CPU、内存)和Container的生命周期,向ResourceManager汇报节点状态。
  • 资源池:MRS中对YARN节点进行逻辑分区的管理单元,将多个NodeManager组合为一个资源组,实现节点级别的资源隔离。资源池中的节点资源仅供调度到该资源池的任务使用。
  • 资源标签:资源池的标识标签,用于在YARN调度时通过标签表达式匹配目标资源池,实现任务与资源的精准匹配。例如,将任务调度到标记为high_priority的资源池中执行。

前提条件

  • 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)
  • 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager

在MRS管理控制台创建资源池

  1. 登录MRS管理控制台
  2. 选择“现有集群”,选中一个待操作的运行中的集群并单击集群名称,进入集群概览信息页面。
  3. 在集群详情页,单击“租户管理”。
  4. 单击“资源池”页签。
  5. 单击“添加资源池”。
  6. 在“添加资源池”设置资源池的属性。

    表1 资源池参数说明

    参数

    说明

    名称

    资源池的名称。不支持创建名称为"default"的资源池。可包含数字、字母和下划线(_),且不能以下划线开头。

    资源标签

    资源池的标签标识,用于YARN调度时匹配目标资源池。可包含数字、字母、下划线(_)或减号(-),长度为1~50个字符,且只能以数字或字母开头。

    可用主机

    从左侧主机列表中勾选需要加入资源池的主机。只支持选择本集群中的主机。资源池中的主机列表可以为空(后续可通过编辑资源池添加主机)。

  7. 单击“确定”保存。
  8. 完成资源池创建后,用户可以在资源池的列表中查看资源池的“名称”“成员”“类型”“虚拟核数”“内存”。已加入自定义资源池的主机,不再是“default”资源池的成员。

    将主机从default资源池移至自定义资源池后,原本调度到这些主机上的任务可能受到影响。建议在业务空闲期执行资源池调整操作。

在Manager界面创建资源池

  1. 登录MRS集群Manager界面。

    登录集群Manager界面请参考访问MRS集群Manager

  2. 选择“租户资源”。
  3. 选择“资源池 > 添加资源池”。
  4. 设置资源池的属性。

    图1 添加资源
    表2 资源池参数说明

    参数

    说明

    集群

    选择待添加资源池的集群名称。(MRS 3.3.0及之后版本集群无该参数)

    名称

    资源池的名称。不支持创建名称为default的资源池。可包含数字、字母或下划线(_),且不能以下划线(_)开头。

    资源标签

    资源池的标签标识,用于YARN调度时匹配目标资源池。可包含数字、字母、下划线(_)或减号(-),长度为1~50个字符,且只能以数字或字母开头。

    资源

    从左侧可用主机列表中勾选指定主机,单击“>>”加入已选主机列表。只支持选择本集群中的主机。资源池中的主机列表可以为空。支持通过主机名称、核数、内存、操作系统、平台类型筛选主机。

  5. 单击“确定”保存。

    完成资源池创建后,管理员可以在资源池的列表中查看资源池的名称、成员、类型等。已加入自定义资源池的主机,不再是“default”资源池的成员。

    创建资源池后,可通过以下方式验证:

    1. 在管理控制台或Manager的资源池页面,查看新创建的资源池是否出现在资源池列表中。
    2. 检查资源池的成员,确认已选主机是否正确加入。
    3. 在资源池列表中查看虚拟核数和内存,确认资源池已正确统计节点资源。
    4. 提交一个测试任务并指定调度到新资源池,确认任务是否在资源池内的节点上执行。

常见问题

Q:资源池创建后可以修改或删除吗?

A:可以。在资源池页面,选择目标资源池进行编辑或删除。删除资源池前,需先移除资源池中的所有主机,且确保没有队列正在使用该资源池的标签。

Q:主机从一个资源池移到另一个资源池后,正在运行的任务会受影响吗?

A:主机切换资源池后,该主机上正在运行的Container会继续执行直至完成,但新提交的任务将不再调度到该主机(除非新资源池的标签匹配),建议在业务空闲期调整主机归属。

Q:资源池和YARN队列有什么区别?

A:资源池实现节点级别的物理资源隔离,将特定主机划分给指定资源池;队列实现资源配额的逻辑分配,通过标签表达式将任务路由到对应资源池。两者配合使用,先创建资源池划分节点,再在队列中配置标签表达式。

相关文档

相关文档