文档首页/ MapReduce服务 MRS/ 常见问题/ 作业管理类/ 如何让不同的业务程序分别用不同的Yarn队列?
更新时间:2024-07-31 GMT+08:00
分享

如何让不同的业务程序分别用不同的Yarn队列?

问:

如何让不同的业务程序分别用不同的Yarn队列?

答:

在Manager页面上创建一个新的租户,然后将不同的集群业务用户绑定至不同的租户。

操作步骤

  1. 登录FusionInsight Manager,单击“租户资源”。
  2. 在左侧租户列表,选择父租户节点然后单击,打开添加子租户的配置页面,参见表1为子租户配置属性。

    表1 子租户参数一览

    参数名

    描述

    集群

    显示上级父租户所在集群。

    父租户资源

    显示上级父租户的名称。

    名称

    • 指定当前租户的名称,长度为3~50个字符,可包含数字、字母或下划线(_)。
    • 根据业务需求规划子租户的名称,不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。

    租户类型

    指定租户是否是一个叶子租户:

    • 选择“叶子租户”:当前租户为叶子租户,不支持添加子租户。
    • 选择“非叶子租户”:当前租户为非叶子租户,支持添加子租户,但租户层级不能超过5层。

    计算资源

    为当前租户选择动态计算资源。

    • 选择“Yarn”时,系统自动在Yarn中以子租户名称创建任务队列。
      • 如果是叶子租户,叶子租户可直接提交到任务队列中。
      • 如果是非叶子租户,非叶子租户不能直接将任务提交到队列中。但是,Yarn会额外为非叶子租户增加一个任务队列(隐含),队列默认命名为“default”,用于统计当前租户剩余的资源容量,实际任务不会分配在此队列中运行。
    • 不选择“Yarn”时,系统不会自动创建任务队列。

    默认资源池容量 (%)

    配置当前租户使用的计算资源百分比,基数为父租户的资源总量。

    默认资源池最大容量 (%)

    配置当前租户使用的最大计算资源百分比,基数为父租户的资源总量。

    存储资源

    为当前租户选择存储资源。

    • 选择“HDFS”时,系统将自动在HDFS父租户目录中,以子租户名称创建文件夹。
    • 不选择“HDFS”时,系统不会分配存储资源。

    文件\目录数上限

    配置文件和目录数量配额。

    存储空间配额

    配置当前租户使用的HDFS存储空间配额。

    • 当存储空间配额单位设置为MB时,范围为1~8796093022208,当“存储空间配额单位”设置为GB时,范围为1~8589934592。
    • 此参数值表示租户可使用的HDFS存储空间上限,不代表一定使用了这么多空间。
    • 如果参数值大于HDFS物理磁盘大小,实际最多使用全部的HDFS物理磁盘空间。
    • 如果此配额大于父租户的配额,实际存储量不超过父租户配额。

    存储路径

    配置租户在HDFS中的存储目录。

    • 系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”,父目录为“/tenant/ta1”,系统默认自动配置此参数值为“/tenant/ta1/ta1s”,最终子租户的存储目录为“/tenant/ta1/ta1s”。
    • 支持在父目录中自定义存储路径。

    描述

    配置当前租户的描述信息

    创建租户时将自动创建租户对应的角色、计算资源和存储资源。

    • 新角色包含计算资源和存储资源的权限。此角色及其权限由系统自动控制,不支持通过“系统 > 权限> 角色”进行手动管理,角色名称为“租户名称_集群ID”。首个集群的集群ID默认不显示。
    • 使用此租户时,请创建一个系统用户,并绑定租户对应的角色。
    • 子租户可以将当前租户的资源进一步分配。每一级别父租户下,直接子租户的资源百分比之和不能超过100%。所有一级租户的计算资源百分比之和也不能超过100%。

  3. 当前租户是否需要关联使用其他服务的资源?

    • 是,执行4
    • 否,执行5

  4. 单击“关联服务”,配置当前租户关联使用的其他服务资源。

    1. 在“服务”选择“HBase”。
    2. 在“关联类型”选择:
      • “独占”表示该租户独占服务资源,其他租户不能再关联此服务。
      • “共享”表示共享服务资源,可与其他租户共享使用此服务资源。
    • 创建租户时,租户可以关联的服务资源只有HBase。为已有的租户关联服务时,可以关联的服务资源包含:HDFS、HBase和Yarn。
    • 如果为已有的租户关联服务资源:在租户列表单击目标租户,切换到“服务关联”页签,单击“关联服务”单独配置当前租户关联资源。
    • 如果为已有的租户取消关联服务资源:在租户列表单击目标的租户,切换到“服务关联”页签,单击“删除”,并勾选“我已阅读此信息并了解其影响。”,再单击“确定”删除与服务资源的关联。
    1. 单击“确定”。

  5. 单击“确定”,等待界面提示租户创建成功。

相关文档