文档首页/ MapReduce服务 MRS/ 用户指南/ 管理MRS集群/ 管理MRS集群租户/ 配置MRS租户/ 添加MRS租户
更新时间：2024-11-25 GMT+08:00
查看PDF
分享

添加MRS租户

当租户需要根据业务需求指定资源使用情况时，可以在MRS创建租户。

添加MRS租户前提条件

  • 根据业务需求规划租户的名称，不得与当前集群中已有的角色或者Yarn队列重名。
  • 如果租户需要使用存储资源，则提前根据业务需要规划好存储路径，分配的完整存储路径在HDFS目录中不存在。
  • 规划当前租户可分配的资源，确保每一级别父租户下，直接子租户/子租户的资源百分比之和不能超过100%。
  • 如果通过MRS管理控制台操作，需要已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。
  • 如果通过Manager界面操作，需要已登录MRS集群Manager界面，详情请参考访问MRS集群Manager。

通过管理控制台添加租户

  1. 登录MRS管理控制台。
  2. 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。
  3. 在集群详情页，单击“租户管理”。
  4. 单击“添加租户”，打开添加租户的配置页面，根据集群版本参见对应表格内容为租户配置属性。

    表1 租户参数一览表（MRS 3.x版本）

    参数名

    示例

    描述

    名称

    ta1
    • 指定当前租户的名称，可包含数字、字母或下划线（_）。
    • 根据业务需求规划租户的名称，不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。

    租户类型

    非叶子租户

    指定租户是否是一个叶子租户。

    部分版本该参数名为“租户资源类型”，具体以实际为准。

    • 选择“叶子租户”：当前租户为叶子租户，不支持添加子租户。
    • 选择“非叶子租户”：当前租户为非叶子租户，支持添加子租户。
    说明：

    如果关联服务需要选择“ClickHouse”或“Doris”，租户类型只能选择“叶子租户”。

    计算资源

    -

    为当前租户选择动态计算资源。

    • 选择“Yarn”时，系统自动在Yarn中以租户名称创建任务队列。
      • 如果是叶子租户，叶子租户可直接提交到任务队列中。
      • 如果是非叶子租户，非叶子租户不能直接将任务提交到队列中。但是，Yarn会额外为非叶子租户增加一个任务队列（隐含），队列默认命名为“default”，用于统计当前租户剩余的资源容量，实际任务不会分配在此队列中运行。
    • 不选择“Yarn”时，系统不会自动创建任务队列。

    配置模式

    -

    计算资源选择“Yarn”时，“配置模式”可选“基础”或“高级”。

    • 基础：需配置“默认资源池容量 (%)”，配置当前租户在“default”资源池中使用的计算资源百分比。
    • 高级：需配置如下参数。
      • 权重：资源分配权重，取值范围从0到100。租户资源占比=租户权重/同级别租户总权重之和。
      • 最小资源：保证租户能获得的资源（有抢占支持）。取值可以是父租户资源的百分比或绝对值。当租户作业量比较少时，资源会自动借给其他租户，当租户能使用的资源不满足最小资源时，可以通过抢占来要回之前借出的资源。
      • 最大资源：租户最多能使用的资源，租户不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。
      • 预留资源：租户资源预留资源。即使租户资源内没有作业，预留的资源也不能给别的租户资源使用。取值可以是父租户资源的百分比或绝对值。

    储存资源

    HDFS

    为当前租户选择存储资源。

    • 选择“HDFS”时系统将自动在“/tenant”目录中以租户名称创建文件夹。第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。
    • 不选择“HDFS”时，系统不会在HDFS中创建存储目录。

    文件/目录数上限

    10

    HDFS中创建存储文件/目录数上限。“储存资源”选择“HDFS”时配置。

    存储空间配额

    500MB

    配置当前租户使用的HDFS存储空间配额。“储存资源”选择“HDFS”时配置。

    • 最小值为“1”，单位为MB或GB。
    • 此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。
    • 如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。
    说明：

    为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500MB”，则实际只能保存约500/2=250MB大小的文件。

    存储路径

    /tenant/ta1

    配置租户在HDFS中的存储目录，用于存放租户资源数据。

    • 系统默认将自动在“/tenant”目录中以租户名称创建文件夹。例如租户“ta1”，默认HDFS存储目录为“/tenant/ta1”。
    • 第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。支持自定义存储路径。

    服务

    -

    配置当前租户关联使用的其他服务资源（如果该参数置灰表示当前集群无支持“关联服务”操作的组件）。

    单击“关联服务”，在“服务”选择服务名称。在“关联类型”选择“独占”表示独占服务资源，选择“共享”表示共享服务资源。

    描述

    -

    配置当前租户的描述信息。
    表2 租户参数一览表（MRS 2.x及之前版本）

    参数名

    示例

    描述

    名称

    ta1
    • 指定当前租户的名称，可包含数字、字母或下划线（_）。
    • 根据业务需求规划租户的名称，不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。

    租户类型

    非叶子租户

    指定租户是否是一个叶子租户：

    • 选择“叶子租户”：当前租户为叶子租户，不支持添加子租户。
    • 选择“非叶子租户”：当前租户为非叶子租户，支持添加子租户。

    计算资源

    -

    为当前租户选择动态计算资源。（部分版本该参数名称为“动态资源”，请以实际为准。）

    • 选择“Yarn”时，系统自动在Yarn中以租户名称创建任务队列。
      • 如果是叶子租户，叶子租户可直接提交到任务队列中。
      • 如果是非叶子租户，非叶子租户不能直接将任务提交到队列中。但是，Yarn会额外为非叶子租户增加一个任务队列（隐含），队列默认命名为“default”，用于统计当前租户剩余的资源容量，实际任务不会分配在此队列中运行。
    • 不选择“Yarn”时，系统不会自动创建任务队列。

    默认资源池容量 (%)

    80

    配置当前租户在“default”资源池中使用的计算资源百分比。“计算资源”选择“Yarn”时配置。

    默认资源池最大容量 (%)

    70

    配置当前租户在“default”资源池中使用的最大计算资源百分比。“计算资源”选择“Yarn”时配置。

    储存资源

    HDFS

    为当前租户选择存储资源。

    • 选择“HDFS”时系统将自动在“/tenant”目录中以租户名称创建文件夹。第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。
    • 不选择“HDFS”时，系统不会在HDFS中创建存储目录。

    存储空间配额 (MB)

    500MB

    配置当前租户使用的HDFS存储空间配额。“储存资源”选择“HDFS”时配置。

    • 最小值为“1”，单位为MB或GB。
    • 此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。
    • 如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。
    说明：

    为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500MB”，则实际只能保存约500/2=250MB大小的文件。

    存储路径

    /tenant/ta1

    配置租户在HDFS中的存储目录。

    • 系统默认将自动在“/tenant”目录中以租户名称创建文件夹。例如租户“ta1”，默认HDFS存储目录为“/tenant/ta1”。
    • 第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。支持自定义存储路径。

    服务

    -

    配置当前租户关联使用的其他服务资源（如果该参数置灰表示当前集群无支持“关联服务”操作的组件）。

    单击“关联服务”，在“服务”选择服务名称。在“关联类型”选择“独占”表示独占服务资源，选择“共享”表示共享服务资源。

    描述

    -

    配置当前租户的描述信息。

  5. 单击“确定”保存，等待界面提示租户创建成功。

    在左侧租户列表，单击已添加租户的名称，可以查看当前租户的基本信息、资源配额、图表等信息。

    • 创建租户时将自动创建租户对应的角色、计算资源和存储资源。
    • 新角色包含计算资源和存储资源的权限。此角色及其权限由系统自动控制，不支持通过“角色管理”进行手动管理。
    • 使用此租户时，请创建一个系统用户，并分配Manager_tenant角色以及租户对应的角色。具体操作请参见为MRS集群用户绑定租户。

通过Manager添加租户（MRS 3.x及之后版本）

  1. 登录Manager，单击“租户资源”。
  2. 单击，打开添加租户的配置页面，参见表3为租户配置属性。

    如果当前为MRS 3.3.0之前的3.x版本集群，首先在“集群”参数中选择当前要创建租户的集群。

    表3 租户参数一览表（MRS 3.x版本）

    参数名

    示例

    描述

    名称

    ta1
    • 指定当前租户的名称，可包含数字、字母或下划线（_）。
    • 根据业务需求规划租户的名称，不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。

    租户类型

    非叶子租户

    指定租户是否是一个叶子租户。

    部分版本该参数名为“租户资源类型”，具体以实际为准。

    • 选择“叶子租户”：当前租户为叶子租户，不支持添加子租户。
    • 选择“非叶子租户”：当前租户为非叶子租户，支持添加子租户。
    说明：

    如果关联服务需要选择“ClickHouse”或“Doris”，租户类型只能选择“叶子租户”。

    计算资源

    -

    为当前租户选择动态计算资源。

    • 选择“Yarn”时，系统自动在Yarn中以租户名称创建任务队列。
      • 如果是叶子租户，叶子租户可直接提交到任务队列中。
      • 如果是非叶子租户，非叶子租户不能直接将任务提交到队列中。但是，Yarn会额外为非叶子租户增加一个任务队列（隐含），队列默认命名为“default”，用于统计当前租户剩余的资源容量，实际任务不会分配在此队列中运行。
    • 不选择“Yarn”时，系统不会自动创建任务队列。

    配置模式

    -

    计算资源选择“Yarn”时，“配置模式”可选“基础”或“高级”。

    • 基础：需配置“默认资源池容量 (%)”，配置当前租户在“default”资源池中使用的计算资源百分比。
    • 高级：需配置如下参数。
      • 权重：资源分配权重，取值范围从0到100。租户资源占比=租户权重/同级别租户总权重之和。
      • 最小资源：保证租户能获得的资源（有抢占支持）。取值可以是父租户资源的百分比或绝对值。当租户作业量比较少时，资源会自动借给其他租户，当租户能使用的资源不满足最小资源时，可以通过抢占来要回之前借出的资源。
      • 最大资源：租户最多能使用的资源，租户不能得到比最大资源设定更多的资源。取值可以是父租户资源的百分比或绝对值。
      • 预留资源：租户资源预留资源。即使租户资源内没有作业，预留的资源也不能给别的租户资源使用。取值可以是父租户资源的百分比或绝对值。

    储存资源

    HDFS

    为当前租户选择存储资源。

    • 选择“HDFS”时系统将自动在“/tenant”目录中以租户名称创建文件夹。第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。
    • 不选择“HDFS”时，系统不会在HDFS中创建存储目录。

    文件/目录数上限

    10

    HDFS中创建存储文件/目录数上限。“储存资源”选择“HDFS”时配置。

    存储空间配额

    500MB

    配置当前租户使用的HDFS存储空间配额。“储存资源”选择“HDFS”时配置。

    • 最小值为“1”，单位为MB或GB。
    • 此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。
    • 如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。
    说明：

    为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500MB”，则实际只能保存约500/2=250MB大小的文件。

    存储路径

    /tenant/ta1

    配置租户在HDFS中的存储目录，用于存放租户资源数据。

    • 系统默认将自动在“/tenant”目录中以租户名称创建文件夹。例如租户“ta1”，默认HDFS存储目录为“/tenant/ta1”。
    • 第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。支持自定义存储路径。

    服务

    -

    配置当前租户关联使用的其他服务资源（如果该参数置灰表示当前集群无支持“关联服务”操作的组件）。

    单击“关联服务”，在“服务”选择服务名称。在“关联类型”选择“独占”表示独占服务资源，选择“共享”表示共享服务资源。

    描述

    -

    配置当前租户的描述信息。

    创建租户时将自动创建租户对应的角色、计算资源和存储资源。

    • 新角色包含计算资源和存储资源的权限。此角色及其权限由系统自动控制，不支持通过“系统 > 权限> 角色”进行手动管理，角色名称为“租户名称_集群ID”。首个集群的集群ID默认不显示。
    • 使用此租户时，请创建一个系统用户，并绑定租户对应的角色。具体操作请参见为MRS集群用户绑定租户。
    • 创建租户时系统会自动创建一个Yarn任务队列，并自动以租户名称命名该队列。如果已经存在同名队列，新队列命名为“租户名称-N”。“N”表示从1开始的自然数，存在同名队列的时候N会自动累加以区别已有队列。例如“saletenant”、“saletenant-1”和“saletenant-2”。
    如果需要关联服务，请单击“关联服务”，参考如下指导配置当前租户关联使用的其他服务资源，单击“确定”。
    • “服务”选择“HBase”，在“关联类型”可以选择“独占”或者“共享”。
      • “独占”表示该租户独占服务资源，其他租户不能再关联此服务。
      • “共享”表示共享服务资源，可与其他租户共享使用此服务资源。
    • MRS 3.2.0及之后版本：“服务”选择“ClickHouse”。
      • “关联类型”：当“服务”选择“ClickHouse”时，关联类型只支持“共享”。MRS 3.3.0及之后版本支持“独占”和“共享”。
      • “关联逻辑集群”：若ClickHouse没有开启逻辑集群，则默认关联default_cluster，若已经开启逻辑集群，则按需选择需要关联的逻辑集群。
      • “CPU优先级”：CPU优先级取值范围为-20~19，该值关联OS的NICE值，取值越小，CPU优先级越高。
      • “内存”：内存限制为百分比，如该值设置为80，则当前租户可使用的内存总额为：服务可使用内存 * 80%。
      • “并发数”：表示绑定了本租户的所有用户的并发数上限。仅MRS 3.3.0及之后版本集群需配置该参数。
    • MRS 3.3.1及之后版本：“服务”选择“Doris”。
      • “关联类型”：默认“共享”。
      • “CPU配额权重”：相对值，取值范围为1~100，该值越大，表示单位时间内CPU占用越多。
      • “内存限额占比”：百分比，如该值设置为“20”，则当前租户在各个BE实例节点的可用内存为：物理内存 * mem_limit（BE内存限制百分比）* 20%。
      • “并发数”：表示单个FE实例可运行查询任务的并发数上限。
      • “队列长度”：表示超出并发数，在队列中等待执行的查询任务数上限。
      • “队列等待时长（毫秒）”：表示在队列中，任务的最长等待时间，单位为毫秒。
      • “开启内存软隔离”：表示租户是否可以超量使用内存资源。如果开启，系统有空闲内存资源时，则租户在超出内存限制后，可以继续使用系统内存，只有资源紧张时，才取消组内内存占用最大的若干任务。
    • 创建租户时，租户可以关联的服务资源只有HBase。为已有的租户关联服务时，可以关联的服务资源包含：HDFS、HBase和Yarn。
    • 若为已有的租户关联服务资源：在租户列表单击目标租户，切换到“服务关联”页签，单击“关联服务”单独配置当前租户关联资源。
    • 若为已有的租户取消关联服务资源：在租户列表单击目标的租户，切换到“服务关联”页签，单击“删除”，并勾选“我已阅读此信息并了解其影响。”，再单击“确定”删除与服务资源的关联。

  3. 单击“确定”，等待界面提示租户创建成功。

    MRS 3.3.0及之后版本集群，单击可以导出当前集群所有租户的基本信息。

通过Manager添加租户（MRS 2.x及之前版本）

  1. 在MRS Manager，单击“租户管理”。
  2. 单击“添加租户”，打开添加租户的配置页面，参见以下表格内容为租户配置属性。

    表4 租户参数一览表（MRS 2.x及之前版本）

    参数名

    示例

    描述

    名称

    ta1
    • 指定当前租户的名称，可包含数字、字母或下划线（_）。
    • 根据业务需求规划租户的名称，不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。

    租户类型

    非叶子租户

    指定租户是否是一个叶子租户：

    • 选择“叶子租户”：当前租户为叶子租户，不支持添加子租户。
    • 选择“非叶子租户”：当前租户为非叶子租户，支持添加子租户。

    计算资源

    -

    为当前租户选择动态计算资源。（部分版本该参数名称为“动态资源”，请以实际为准。）

    • 选择“Yarn”时，系统自动在Yarn中以租户名称创建任务队列。
      • 如果是叶子租户，叶子租户可直接提交到任务队列中。
      • 如果是非叶子租户，非叶子租户不能直接将任务提交到队列中。但是，Yarn会额外为非叶子租户增加一个任务队列（隐含），队列默认命名为“default”，用于统计当前租户剩余的资源容量，实际任务不会分配在此队列中运行。
    • 不选择“Yarn”时，系统不会自动创建任务队列。

    默认资源池容量 (%)

    80

    配置当前租户在“default”资源池中使用的计算资源百分比。“计算资源”选择“Yarn”时配置。

    默认资源池最大容量 (%)

    70

    配置当前租户在“default”资源池中使用的最大计算资源百分比。“计算资源”选择“Yarn”时配置。

    储存资源

    HDFS

    为当前租户选择存储资源。

    • 选择“HDFS”时系统将自动在“/tenant”目录中以租户名称创建文件夹。第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。
    • 不选择“HDFS”时，系统不会在HDFS中创建存储目录。

    存储空间配额 (MB)

    500MB

    配置当前租户使用的HDFS存储空间配额。“储存资源”选择“HDFS”时配置。

    • 最小值为“1”，单位为MB或GB。
    • 此参数值表示租户可使用的HDFS存储空间上限，不代表一定使用了这么多空间。
    • 如果参数值大于HDFS物理磁盘大小，实际最多使用全部的HDFS物理磁盘空间。
    说明：

    为了保证数据的可靠性，HDFS中每保存一个文件则自动生成1个备份文件，即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小总和。例如“存储空间配额”设置为“500MB”，则实际只能保存约500/2=250MB大小的文件。

    存储路径

    /tenant/ta1

    配置租户在HDFS中的存储目录。

    • 系统默认将自动在“/tenant”目录中以租户名称创建文件夹。例如租户“ta1”，默认HDFS存储目录为“/tenant/ta1”。
    • 第一次创建租户时，系统自动在HDFS根目录创建“/tenant”目录。支持自定义存储路径。

    服务

    -

    配置当前租户关联使用的其他服务资源（如果该参数置灰表示当前集群无支持“关联服务”操作的组件）。

    单击“关联服务”，在“服务”选择服务名称。在“关联类型”选择“独占”表示独占服务资源，选择“共享”表示共享服务资源。

    描述

    -

    配置当前租户的描述信息。

  3. 单击“确定”保存，等待界面提示租户创建成功。

    • 创建租户时将自动创建租户对应的角色、计算资源和存储资源。
    • 新角色包含计算资源和存储资源的权限。此角色及其权限由系统自动控制，不支持通过“角色管理”进行手动管理。
    • 使用此租户时，请创建一个系统用户，并分配Manager_tenant角色以及租户对应的角色。具体操作请参见为MRS集群用户绑定租户。

父主题： 配置MRS租户

相关文档