添加MRS子租户
根据业务对资源消耗以及隔离的规划与需求,用户可以通过MRS创建子租户,将当前租户的资源进一步分配以满足实际使用场景。
如果在添加租户时,租户资源类型选择“非叶子租户”,则支持添加子租户;如果选择“叶子租户”则不支持添加子租户。
前提条件
- 已参考添加MRS租户添加“非叶子租户”。
- 根据业务需求规划租户的名称,不得与当前集群中已有的角色或者Yarn队列重名。
- 如果子租户需要使用存储资源,则提前根据业务需要规划好存储路径,分配的存储目录在父租户的存储目录中不存在。
- 规划当前租户可分配的资源,确保每一级别父租户下,直接子租户的资源百分比之和不能超过100%。
- 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
- 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。
通过管理控制台添加MRS子租户
- 登录MRS管理控制台。
- 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
- 在集群详情页,单击“租户管理”。
- 在左侧租户列表,将光标移动到需要添加子租户的租户节点上,单击“添加子租户”,打开添加子租户的配置页面,参见以下表格内容为租户配置属性。
表1 租户参数一览表(MRS 3.x版本) 参数名
描述
名称
- 指定当前租户的名称,可包含数字、字母或下划线(_)。
- 根据业务需求规划租户的名称,不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。
租户类型
指定租户是否是一个叶子租户。
部分版本该参数名为“租户资源类型”,具体以实际为准。
- 选择“叶子租户”:当前租户为叶子租户,不支持添加子租户。
- 选择“非叶子租户”:当前租户为非叶子租户,支持添加子租户。
说明:如果关联服务需要选择“ClickHouse”,租户类型只能选择“叶子租户”。
计算资源
为当前租户选择动态计算资源。
- 选择“Yarn”时,系统自动在Yarn中以租户名称创建任务队列。
- 如果是叶子租户,叶子租户可直接提交到任务队列中。
- 如果是非叶子租户,非叶子租户不能直接将任务提交到队列中。但是,Yarn会额外为非叶子租户增加一个任务队列(隐含),队列默认命名为“default”,用于统计当前租户剩余的资源容量,实际任务不会分配在此队列中运行。
- 不选择“Yarn”时,系统不会自动创建任务队列。
配置模式
计算资源选择“Yarn”时,“配置模式”可选“基础”或“高级”。
- 基础:需配置“默认资源池容量 (%)”,配置当前租户在“default”资源池中使用的计算资源百分比。
- 高级:需配置如下参数。
- 权重:资源分配权重,取值范围从0到100。租户资源占比=租户权重/同级别租户总权重之和。
- 最小资源:保证租户能获得的资源(有抢占支持)。取值可以是父租户资源的百分比或绝对值。当租户作业量比较少时,资源会自动借给其他租户,当租户能使用的资源不满足最小资源时,可以通过抢占来要回之前借出的资源。
- 最大资源:租户最多能使用的资源,租户不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。
- 预留资源:租户资源预留资源。即使租户资源内没有作业,预留的资源也不能给别的租户资源使用。取值可以是父租户资源的百分比或绝对值。
储存资源
为当前租户选择存储资源。
- 选择“HDFS”时系统将自动在“/tenant”目录中以租户名称创建文件夹。第一次创建租户时,系统自动在HDFS根目录创建“/tenant”目录。
- 不选择“HDFS”时,系统不会在HDFS中创建存储目录。
文件/目录数上限
HDFS中创建存储文件/目录数上限。“储存资源”选择“HDFS”时配置。
存储空间配额
配置当前租户使用的HDFS存储空间配额。“储存资源”选择“HDFS”时配置。
- 最小值为“1”,单位为MB或GB。
- 此参数值表示租户可使用的HDFS存储空间上限,不代表一定使用了这么多空间。
- 如果参数值大于HDFS物理磁盘大小,实际最多使用全部的HDFS物理磁盘空间。
说明:为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500MB”,则实际只能保存约500/2=250MB大小的文件。
存储路径
配置租户在HDFS中的存储目录,用于存放租户资源数据。
- 系统默认将自动在“/tenant”目录中以租户名称创建文件夹。例如租户“ta1”,默认HDFS存储目录为“/tenant/ta1”。
- 第一次创建租户时,系统自动在HDFS根目录创建“/tenant”目录。支持自定义存储路径。
服务
配置当前租户关联使用的其他服务资源(如果该参数置灰表示当前集群无支持“关联服务”操作的组件)。
单击“关联服务”,在“服务”选择服务名称。在“关联类型”选择“独占”表示独占服务资源,选择“共享”表示共享服务资源。
描述
配置当前租户的描述信息。
表2 租户参数一览表(MRS 2.x及之前版本) 参数名
描述
名称
- 指定当前租户的名称,可包含数字、字母或下划线(_)。
- 根据业务需求规划租户的名称,不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。
租户类型
指定租户是否是一个叶子租户:
- 选择“叶子租户”:当前租户为叶子租户,不支持添加子租户。
- 选择“非叶子租户”:当前租户为非叶子租户,支持添加子租户。
计算资源
为当前租户选择动态计算资源。(部分版本该参数名称为“动态资源”,请以实际为准。)
- 选择“Yarn”时,系统自动在Yarn中以租户名称创建任务队列。
- 如果是叶子租户,叶子租户可直接提交到任务队列中。
- 如果是非叶子租户,非叶子租户不能直接将任务提交到队列中。但是,Yarn会额外为非叶子租户增加一个任务队列(隐含),队列默认命名为“default”,用于统计当前租户剩余的资源容量,实际任务不会分配在此队列中运行。
- 不选择“Yarn”时,系统不会自动创建任务队列。
默认资源池容量 (%)
配置当前租户在“default”资源池中使用的计算资源百分比。“计算资源”选择“Yarn”时配置。
默认资源池最大容量 (%)
配置当前租户在“default”资源池中使用的最大计算资源百分比。“计算资源”选择“Yarn”时配置。
储存资源
为当前租户选择存储资源。
- 选择“HDFS”时系统将自动在“/tenant”目录中以租户名称创建文件夹。第一次创建租户时,系统自动在HDFS根目录创建“/tenant”目录。
- 不选择“HDFS”时,系统不会在HDFS中创建存储目录。
存储空间配额 (MB)
配置当前租户使用的HDFS存储空间配额。“储存资源”选择“HDFS”时配置。
- 最小值为“1”,单位为MB或GB。
- 此参数值表示租户可使用的HDFS存储空间上限,不代表一定使用了这么多空间。
- 如果参数值大于HDFS物理磁盘大小,实际最多使用全部的HDFS物理磁盘空间。
说明:为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500MB”,则实际只能保存约500/2=250MB大小的文件。
存储路径
配置租户在HDFS中的存储目录。
- 系统默认将自动在“/tenant”目录中以租户名称创建文件夹。例如租户“ta1”,默认HDFS存储目录为“/tenant/ta1”。
- 第一次创建租户时,系统自动在HDFS根目录创建“/tenant”目录。支持自定义存储路径。
服务
配置当前租户关联使用的其他服务资源(如果该参数置灰表示当前集群无支持“关联服务”操作的组件)。
单击“关联服务”,在“服务”选择服务名称。在“关联类型”选择“独占”表示独占服务资源,选择“共享”表示共享服务资源。
描述
配置当前租户的描述信息。
- 单击“确定”保存,完成子租户添加。
保存配置需要等待一段时间,界面右上角弹出提示“租户创建成功。”,租户成功添加。
- 创建租户时将自动创建租户对应的角色、计算资源和存储资源。
- 新角色包含计算资源和存储资源的权限。此角色及其权限由系统自动控制,不支持通过“系统 > 权限> 角色”进行手动管理,角色名称为“租户名称_集群ID”。首个集群的集群ID默认不显示。
- 使用此租户时,请创建一个系统用户,并绑定租户对应的角色。具体操作请参见为MRS集群用户绑定租户。
- 子租户可以将当前租户的资源进一步分配。每一级别父租户下,直接子租户的资源百分比之和不能超过100%。所有一级租户的计算资源百分比之和也不能超过100%。
通过Manager添加子租户(MRS 3.x及之后版本)
- 登录FusionInsight Manager,单击“租户资源”。
- 在左侧租户列表,选择父租户节点然后单击,打开添加子租户的配置页面,配置相关参数。
- 新安装集群的Yarn组件默认使用Superior调度器。也可以参考切换MRS租户资源调度器切换调度器。
- 调度器类型可登录Manager,在Yarn服务“全部配置”页面搜索“yarn.resourcemanager.scheduler.class”参数进行查询。
表3 子租户参数一览(Superior调度器) 参数名
描述
集群
显示上级父租户所在集群。
父租户资源
显示上级父租户的名称。(部分版本该参数名称为“父租户”,请以实际为准。)
名称
- 指定当前租户的名称,可包含数字、字母或下划线(_)。
- 根据业务需求规划租户的名称,不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。
租户资源类型
指定租户是否是一个叶子租户。(部分版本该参数名称为“租户类型”,请以实际为准。)
- 选择“叶子租户资源”:当前租户为叶子租户,不支持添加子租户。(部分版本该参数名称为“叶子租户”,请以实际为准。)
- 选择“非叶子租户资源”:当前租户为非叶子租户,支持添加子租户,但租户层级不能超过5层。(部分版本该参数名称为“非叶子租户”,请以实际为准。)
计算资源
为当前租户选择动态计算资源。
- 选择“Yarn”时,系统自动在Yarn中以租户名称创建任务队列。
- 如果是叶子租户,叶子租户可直接提交到任务队列中。
- 如果是非叶子租户,非叶子租户不能直接将任务提交到队列中。但是,Yarn会额外为非叶子租户增加一个任务队列(隐含),队列默认命名为“default”,用于统计当前租户剩余的资源容量,实际任务不会分配在此队列中运行。
- 不选择“Yarn”时,系统不会自动创建任务队列。
配置模式
计算资源参数配置模式。计算资源选择“Yarn”时,“配置模式”可选“基础”或“高级”。
- 基础:需配置“默认资源池容量 (%)”,配置当前租户在“default”资源池中使用的计算资源百分比。
- 高级:需配置如下参数。
- 权重:资源分配权重,取值范围从0到100。租户资源占比=租户权重/同级别租户总权重之和。
- 最小资源:保证租户能获得的资源(有抢占支持)。取值可以是父租户资源的百分比或绝对值。当租户作业量比较少时,资源会自动借给其他租户,当租户能使用的资源不满足最小资源时,可以通过抢占来要回之前借出的资源。
- 最大资源:租户最多能使用的资源,租户不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。
- 预留资源:租户资源预留资源。即使租户资源内没有作业,预留的资源也不能给别的租户资源使用。取值可以是父租户资源的百分比或绝对值。
存储资源
为当前租户选择存储资源。
- 选择“HDFS”时,系统将自动在HDFS父租户目录中,以子租户名称创建文件夹。
- 不选择“HDFS”时,系统不会在HDFS中创建存储目录。如果父租户未选择存储资源,子租户也无法使用存储资源。
文件\目录数上限
配置文件和目录数量配额。“储存资源”选择“HDFS”时配置。
存储空间配额
配置当前租户使用的HDFS存储空间配额。“储存资源”选择“HDFS”时配置。
- 最小值为“1”,最大值为父租户的全部存储配额。单位为MB或GB。
- 此参数值表示租户可使用的HDFS存储空间上限,不代表一定使用了这么多空间。
- 如果参数值大于HDFS物理磁盘大小,实际最多使用全部的HDFS物理磁盘空间。
- 如果此配额大于父租户的配额,实际存储量不超过父租户配额。
说明:为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500MB”,则实际只能保存约500/2=250MB大小的文件。
存储路径
配置租户在HDFS中的存储目录。
- 系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”,父目录为“tenant/ta1”,系统默认自动配置此参数值为“tenant/ta1/ta1s”,最终子租户的存储目录为“/tenant/ta1/ta1s”。
- 支持在父目录中自定义存储路径。存储路径的父目录必须是父租户的存储目录。
服务
是否需要关联使用其他服务的资源,参见4。
描述
配置当前租户的描述信息。
表4 子租户参数一览(Capacity调度器) 参数名
描述
集群
显示上级父租户所在集群。
父租户资源
显示上级父租户的名称。(部分版本该参数名称为“父租户”,请以实际为准。)
名称
- 指定当前租户的名称,可包含数字、字母或下划线(_)。
- 根据业务需求规划租户的名称,不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。
租户类型
指定租户是否是一个叶子租户。
- 选择“叶子租户”:当前租户为叶子租户,不支持添加子租户。
- 选择“非叶子租户”:当前租户为非叶子租户,支持添加子租户。
计算资源
为当前租户选择动态计算资源。
- 选择“Yarn”时,系统自动在Yarn中以租户名称创建任务队列。
- 如果是叶子租户,叶子租户可直接提交到任务队列中。
- 如果是非叶子租户,非叶子租户不能直接将任务提交到队列中。但是,Yarn会额外为非叶子租户增加一个任务队列(隐含),队列默认命名为“default”,用于统计当前租户剩余的资源容量,实际任务不会分配在此队列中运行。
- 不选择“Yarn”时,系统不会自动创建任务队列。
默认资源池容量 (%)
配置当前租户使用的计算资源百分比,基数为父租户的资源总量。
默认资源池最大容量 (%)
配置当前租户使用的最大计算资源百分比,基数为父租户的资源总量。
存储资源
为当前租户选择存储资源。
- 选择“HDFS”时,系统将自动在HDFS父租户目录中,以子租户名称创建文件夹。
- 不选择“HDFS”时,系统不会在HDFS中创建存储目录。如果父租户未选择存储资源,子租户也无法使用存储资源。
文件\目录数上限
配置文件和目录数量配额。“储存资源”选择“HDFS”时配置。
存储空间配额
配置当前租户使用的HDFS存储空间配额。“储存资源”选择“HDFS”时配置。
- 最小值为“1”,最大值为父租户的全部存储配额。单位为MB或GB。
- 此参数值表示租户可使用的HDFS存储空间上限,不代表一定使用了这么多空间。
- 如果参数值大于HDFS物理磁盘大小,实际最多使用全部的HDFS物理磁盘空间。
- 如果此配额大于父租户的配额,实际存储量不超过父租户配额。
说明:为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500MB”,则实际只能保存约500/2=250MB大小的文件。
存储路径
配置租户在HDFS中的存储目录。
- 系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”,父目录为“tenant/ta1”,系统默认自动配置此参数值为“tenant/ta1/ta1s”,最终子租户的存储目录为“/tenant/ta1/ta1s”。
- 支持在父目录中自定义存储路径。存储路径的父目录必须是父租户的存储目录。
描述
配置当前租户的描述信息
- 创建租户时将自动创建租户对应的角色、计算资源和存储资源。
- 新角色包含计算资源和存储资源的权限。此角色及其权限由系统自动控制,不支持通过“系统 > 权限> 角色”进行手动管理,角色名称为“租户名称_集群ID”。首个集群的集群ID默认不显示。
- 使用此租户时,请创建一个系统用户,并绑定租户对应的角色。具体操作请参见为MRS集群用户绑定租户。
- 子租户可以将当前租户的资源进一步分配。每一级别父租户下,直接子租户的资源百分比之和不能超过100%。所有一级租户的计算资源百分比之和也不能超过100%。
- 当前租户是否需要关联使用其他服务的资源?
- 单击“关联服务”,配置当前租户关联使用的其他服务资源。
- 在“服务”选择待操作服务。
- 在“关联类型”选择:
- “独占”表示该租户独占服务资源,其他租户不能再关联此服务。
- “共享”表示共享服务资源,可与其他租户共享使用此服务资源。
- 创建租户时,租户可以关联的服务资源包含HBase、ClickHouse。为已有的租户关联服务时,可以关联的服务资源包含:HDFS、HBase、Yarn、ClickHouse。
- 若为已有的租户关联服务资源:在租户列表单击目标租户,切换到“服务关联”页签,单击“关联服务”单独配置当前租户关联资源。
- 若为已有的租户取消关联服务资源:在租户列表单击目标的租户,切换到“服务关联”页签,单击“删除”,并勾选“我已阅读此信息并了解其影响。”,再单击“确定”删除与服务资源的关联。
- 单击“确定”。
- 单击“确定”,等待界面提示租户创建成功。
通过Manager添加子租户(MRS 2.x及之前版本)
- 在MRS Manager,单击“租户管理”。
- 在左侧租户列表,将光标移动到需要添加子租户的租户节点上,单击“添加子租户”,打开添加子租户的配置页面,参见以下表格内容为租户配置属性。
表5 子租户参数一览表 参数名
描述
父租户
显示上级父租户的名称。
名称
- 指定当前租户的名称,可包含数字、字母或下划线(_)。
- 根据业务需求规划租户的名称,不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。
租户类型
指定租户是否是一个叶子租户:
- 选择“叶子租户”:当前租户为叶子租户,不支持添加子租户。
- 选择“非叶子租户”:当前租户为非叶子租户,支持添加子租户。
动态资源
为当前租户选择动态计算资源。
- 选择“Yarn”时,系统自动在Yarn中以租户名称创建任务队列。
- 如果是叶子租户,叶子租户可直接提交到任务队列中。
- 如果是非叶子租户,非叶子租户不能直接将任务提交到队列中。但是,Yarn会额外为非叶子租户增加一个任务队列(隐含),队列默认命名为“default”,用于统计当前租户剩余的资源容量,实际任务不会分配在此队列中运行。
- 不选择“Yarn”时,系统不会自动创建任务队列。
默认资源池容量 (%)
配置当前租户使用的资源百分比,基数为父租户的资源总量。
默认资源池最大容量 (%)
配置当前租户使用的最大计算资源百分比,基数为父租户的资源总量。
储存资源
为当前租户选择存储资源。
- 选择“HDFS”时,系统将自动在HDFS父租户目录中,以子租户名称创建文件夹。
- 不选择“HDFS”时,系统不会在HDFS中创建存储目录。如果父租户未选择存储资源,子租户也无法使用存储资源。
存储空间配额 (MB)
配置当前租户使用的HDFS存储空间配额。
- 最小值为“1”,最大值为父租户的全部存储配额。单位为MB或GB。
- 此参数值表示租户可使用的HDFS存储空间上限,不代表一定使用了这么多空间。
- 如果参数值大于HDFS物理磁盘大小,实际最多使用全部的HDFS物理磁盘空间。
- 如果此配额大于父租户的配额,实际存储量不超过父租户配额。
说明:为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500MB”,则实际只能保存约500/2=250MB大小的文件。
存储路径
配置租户在HDFS中的存储目录。
- 系统默认将自动在父租户目录中以子租户名称创建文件夹。例如子租户“ta1s”,父目录为“tenant/ta1”,系统默认自动配置此参数值为“tenant/ta1/ta1s”,最终子租户的存储目录为“/tenant/ta1/ta1s”。
- 支持在父目录中自定义存储路径。存储路径的父目录必须是父租户的存储目录。
服务
单击“关联服务”,在“服务”选择服务名称。在“关联类型”选择“独占”表示独占服务资源,选择“共享”表示共享服务资源。
描述
配置当前租户的描述信息。
- 单击“确定”保存,完成子租户添加。
保存配置需要等待一段时间,界面右上角弹出提示“租户创建成功。”,租户成功添加。
- 创建租户时将自动创建租户对应的角色、计算资源和存储资源。
- 新角色包含计算资源和存储资源的权限。此角色及其权限由系统自动控制,不支持通过“系统 > 权限> 角色”进行手动管理,角色名称为“租户名称_集群ID”。首个集群的集群ID默认不显示。
- 使用此租户时,请创建一个系统用户,并绑定租户对应的角色。具体操作请参见为MRS集群用户绑定租户。
- 子租户可以将当前租户的资源进一步分配。每一级别父租户下,直接子租户的资源百分比之和不能超过100%。所有一级租户的计算资源百分比之和也不能超过100%。