添加MRS集群Task节点弹性伸缩策略

操作视频

本视频为您分别介绍如何在购买集群时配置弹性伸缩、如何为已有集群新增弹性伸缩策略。

因不同版本操作界面可能存在差异，相关视频供参考，具体以实际环境为准。

创建MRS集群时配置弹性伸缩

创建集群时，弹性伸缩功能可以通过在高级配置参数中进行配置。

仅分析集群、流式集群和混合集群支持创建集群时配置弹性伸缩策略。

1. 登录MRS管理控制台。
2. 在购买包含有Task类型节点组件的集群时，参考自定义购买MRS集群配置集群软件配置和硬件配置信息后，在“高级配置”页签的弹性伸缩栏，打开对应Task节点类型后的开关按钮，即可进行弹性伸缩规则及资源计划的配置或修改。
   图1 创建集群时配置弹性伸缩
   
   

   您可以参考以下场景进行配置：

   • 场景一：单独配置弹性伸缩规则
   • 场景二：单独使用资源计划
   • 场景三：弹性伸缩规则与资源计划叠加使用

为已有MRS集群新增弹性伸缩策略

集群创建成功后，可以通过节点组维度或资源池维度对集群内的Task节点组配置相关规则。

由于节点组维度策略和资源池维度策略互斥，用户根据实际需要选择其中一个配置即可。

指定资源池维度策略在MRS 3.1.5及其之后版本支持。

前提条件

• 弹性伸缩仅用于Task节点组，当集群内没有Task节点组时，需先添加Task节点组后再继续配置。
• 资源池维度时必须先添加资源池，具体请参考添加MRS租户资源池。

操作步骤

1. 登录MRS管理控制台。
2. 选择“现有集群”，选中一个运行中的集群并单击集群名称。进入集群详情页面。
3. 选择“弹性伸缩”页签，进入配置弹性伸缩界面。

   用户根据实际需要选择资源池维度或者节点组维度进行策略配置。

   

   

   • 不同节点组之间的弹性伸缩策略互斥，即只能存在一个节点组有开启的弹性伸缩策略。
   • 弹性伸缩规则可调控节点数量，也会对实际价格有影响，请谨慎操作。

4. 单击“新增弹性伸缩”按钮，即可添加弹性伸缩策略。

   

   

   您可以参考以下场景进行配置：

   • 场景一：单独配置弹性伸缩规则
   • 场景二：单独使用资源计划
   • 场景三：弹性伸缩规则与资源计划叠加使用

场景一：单独配置弹性伸缩规则

单独配置弹性伸缩规则场景：需要根据Yarn资源使用情况动态调整节点数，在Yarn可用内存低于20%时扩容5个节点，可用内存高于70%时缩容5个节点。Task节点组最高不超过10个节点，最低不少于1个节点。

1. 进入弹性伸缩配置界面后，配置弹性伸缩规则。
   • 配置节点默认范围

     输入Task实例弹性伸缩的数量范围，此约束应用于所有扩容缩容规则，取值范围为0～500。

     例如本业务场景中，配置为1~10。

   • 配置弹性伸缩规则

     需要配置扩容或者缩容规则，否则弹性伸缩将不会启用。

     1. 规则类型选择“扩容”或者“缩容”。
     2. 单击“添加规则”，进入规则编辑页面。
        图2 添加规则
        
     3. 配置“规则名称”、“如果”、“持续”、“添加”、“冷却时间”，具体弹性伸缩指标含义可以参考MRS集群Task节点弹性伸缩概述。
     4. 单击“确定”。

        您可以在弹性伸缩页面，扩容或者缩容区域查看、编辑或删除配置的规则。您可以继续添加并配置多条规则。

2. 单击“确定”，完成弹性伸缩规则设置。
   

   如果是为已有集群配置弹性伸缩的场景，需勾选“我同意授权MRS服务根据以上策略自动进行节点扩容/缩容操作。”。

场景二：单独使用资源计划

当数据量以天为周期有规律的变化，并且希望在数据量变化前提前完成集群的扩缩容，可以使用MRS的资源计划配置在规定时间内按计划调整Task节点数量。

例如：某项实时处理业务数据量在周一、周二和周六7:00~13:00出现高峰，其他时间保持平稳低水平。假设使用MRS流式集群来处理该业务数据，在周一、周二和周六7:00~13:00时，为应对数据量高峰需要5个Task节点的资源，其他时间只需要2个Task节点。

1. 进入弹性伸缩配置界面后，配置资源计划。
   

   资源计划可调控节点数量，也会对实际价格有影响，请谨慎操作。

2. 节点数量范围的“默认范围”设置为“2-2”，表示除资源计划规定时间范围外，其他时间Task节点数量固定为2个。
3. 单击默认范围下方的“配置指定时间段的节点数量范围”或者“添加资源计划”。
4. 配置“生效日期”、“时间范围”和“节点数量范围”。

   例如此处“生效日期”设置为周一、周二和周六，“时间范围”设置为“07:00-13:00”，“节点数量范围”设置为“5-5”，表示在该时间范围内，Task节点数量固定为5个。

   单击“配置指定时间段的节点数量范围”配置多条资源计划。

   

   • 生效日期默认是每日生效，也可以选择周一至周日任意一天或几天生效。
   • 如果没有配置指定时间段的节点数量范围，则节点数量范围以“默认范围”为准。
   • 如果配置了指定时间段的节点数量范围，则在这个时间范围内，以配置的“节点数量范围”为准。不在配置的时间范围时，则以“默认范围”为准。

场景三：弹性伸缩规则与资源计划叠加使用

如果数据量并非非常平稳，有可能出现超出预期的波动，因此并不能保证固定Task节点范围一定可以满足业务场景，此时需要在资源计划的基础上根据实时负载对Task节点数量进行调整。

例如：某项实时处理业务数据量在周一、周二和周六7:00~13:00出现规律性变化，但是数据量变化并非非常平稳。假设在周一、周二和周六7:00~13:00期间，需要Task节点的数量范围是5~8个，其他时间需要Task节点数量是2~4个。因此可以在资源计划的基础上，设置基于负载的弹性伸缩规则，以实现当数据量超出预期后，Task节点数量可以在资源计划规定的范围内根据负载情况进行浮动，但不会超出该规定范围。资源计划触发时，会以变化最小的方式使节点数量满足计划规定范围，即如果需要扩容则扩容到计划节点数量范围的下限，如果需要缩容则缩容到计划节点数量范围的上限。

1. 进入弹性伸缩配置界面后，配置弹性伸缩规则。

   弹性伸缩规则可调控节点数量，也会对实际价格有影响，请谨慎操作。

   • 节点数量范围的默认范围：

     输入Task实例弹性伸缩的数量范围，此约束应用于所有扩容缩容规则。

     例如本场景中，配置为2~4个。

   • 伸缩规则：

     需要配置扩容或者缩容，否则弹性伸缩将不会启用。

     1. 规则类型选择“扩容”或者“缩容”。
     2. 单击“添加规则”，进入“添加规则”页面。
        图3 添加规则
        
     3. 配置“规则名称”、“如果”、“持续”、“添加”、“冷却时间”。
     4. 单击“确定”。

        您可以在弹性伸缩页面，扩容或者缩容区域查看配置的规则。

2. 配置资源计划。
   1. 单击节点默认范围下方的“配置指定时间段的节点数量范围”或者“添加资源计划”。
   2. 配置“生效日期”、“时间范围”和“节点数量范围”。

      例如此处“生效日期”设置为周一、周二和周六，“时间范围”设置为“07:00-13:00”，“节点数量范围”设置为“5~8”。

      单击“配置指定时间段的节点数量范围”或者“添加资源计划”按钮配置多条资源计划。

      

      • 生效日期默认是每日生效，也可以选择周一至周日任意一天或几天生效。
      • 如果没有配置指定时间段的节点数量范围，则节点数量范围以“默认范围”为准。
      • 如果配置了指定时间段的节点数量范围，则在这个时间范围内，以配置的“节点数量范围”为准。不在配置的时间范围时，则以“默认范围”为准。