如何让不同的业务程序分别用不同的Yarn队列?
问:
如何让不同的业务程序分别用不同的Yarn队列?
答:
在Manager页面上创建一个新的租户,然后将不同的集群业务用户绑定至不同的租户。
操作步骤
- 登录FusionInsight Manager,单击“租户资源”。
- 在左侧租户列表,选择父租户节点然后单击,打开添加子租户的配置页面,参见表1为子租户配置属性。
表1 子租户参数一览 参数名
描述
集群
显示上级父租户所在集群。
父租户资源
显示上级父租户的名称。
名称
- 指定当前租户的名称,长度为3~50个字符,可包含数字、字母或下划线(_)。
- 根据业务需求规划子租户的名称,不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。
租户类型
指定租户是否是一个叶子租户:
- 选择“叶子租户”:当前租户为叶子租户,不支持添加子租户。
- 选择“非叶子租户”:当前租户为非叶子租户,支持添加子租户,但租户层级不能超过5层。
计算资源
为当前租户选择动态计算资源。
- 选择“Yarn”时,系统自动在Yarn中以子租户名称创建任务队列。
- 如果是叶子租户,叶子租户可直接提交到任务队列中。
- 如果是非叶子租户,非叶子租户不能直接将任务提交到队列中。但是,Yarn会额外为非叶子租户增加一个任务队列(隐含),队列默认命名为“default”,用于统计当前租户剩余的资源容量,实际任务不会分配在此队列中运行。
- 不选择“Yarn”时,系统不会自动创建任务队列。
默认资源池容量 (%)
配置当前租户使用的计算资源百分比,基数为父租户的资源总量。
默认资源池最大容量 (%)
配置当前租户使用的最大计算资源百分比,基数为父租户的资源总量。
存储资源
为当前租户选择存储资源。
- 选择“HDFS”时,系统将自动在HDFS父租户目录中,以子租户名称创建文件夹。
- 不选择“HDFS”时,系统不会分配存储资源。
文件\目录数上限
配置文件和目录数量配额。
存储空间配额
配置当前租户使用的HDFS存储空间配额。
- 当存储空间配额单位设置为MB时,范围为1~8796093022208,当“存储空间配额单位”设置为GB时,范围为1~8589934592。
- 此参数值表示租户可使用的HDFS存储空间上限,不代表一定使用了这么多空间。
- 如果参数值大于HDFS物理磁盘大小,实际最多使用全部的HDFS物理磁盘空间。
- 如果此配额大于父租户的配额,实际存储量不超过父租户配额。
存储路径
配置租户在HDFS中的存储目录。
- 系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”,父目录为“/tenant/ta1”,系统默认自动配置此参数值为“/tenant/ta1/ta1s”,最终子租户的存储目录为“/tenant/ta1/ta1s”。
- 支持在父目录中自定义存储路径。
描述
配置当前租户的描述信息
创建租户时将自动创建租户对应的角色、计算资源和存储资源。
- 新角色包含计算资源和存储资源的权限。此角色及其权限由系统自动控制,不支持通过“系统 > 权限> 角色”进行手动管理,角色名称为“租户名称_集群ID”。首个集群的集群ID默认不显示。
- 使用此租户时,请创建一个系统用户,并绑定租户对应的角色。
- 子租户可以将当前租户的资源进一步分配。每一级别父租户下,直接子租户的资源百分比之和不能超过100%。所有一级租户的计算资源百分比之和也不能超过100%。
- 当前租户是否需要关联使用其他服务的资源?
- 单击“关联服务”,配置当前租户关联使用的其他服务资源。
- 在“服务”选择“HBase”。
- 在“关联类型”选择:
- “独占”表示该租户独占服务资源,其他租户不能再关联此服务。
- “共享”表示共享服务资源,可与其他租户共享使用此服务资源。
- 创建租户时,租户可以关联的服务资源只有HBase。为已有的租户关联服务时,可以关联的服务资源包含:HDFS、HBase和Yarn。
- 如果为已有的租户关联服务资源:在租户列表单击目标租户,切换到“服务关联”页签,单击“关联服务”单独配置当前租户关联资源。
- 如果为已有的租户取消关联服务资源:在租户列表单击目标的租户,切换到“服务关联”页签,单击“删除”,并勾选“我已阅读此信息并了解其影响。”,再单击“确定”删除与服务资源的关联。
- 单击“确定”。
- 单击“确定”,等待界面提示租户创建成功。