配置弹性伸缩规则

背景信息

弹性伸缩规则与资源计划可以触发弹性伸缩，两者必须至少配置其中一种，也可以叠加使用。

• 弹性伸缩规则：
  • 用户对于一个集群，可以同时设置扩容、缩容最多各5条弹性伸缩规则。
  • 系统根据用户的配置顺序从前到后依次判断规则，先扩容，后缩容。请尽量把重要的策略放在前面，以防一次扩容或缩容无法达到预期效果而进行反复触发。
  • 比对因子包括大于、大于等于、小于、小于等于。
  • 集群连续5n（n默认值为1）分钟持续满足配置的指标阈值后才能触发扩容或者缩容。
  • 每次扩容或者缩容后，存在一个冷却时间，冷却时间默认为20分钟，最小值为0。
  • 单次扩容或者缩容的节点数，最小1个节点，最大100个节点。
• 资源计划（按时间段设置Task节点数量范围）：
  • 用户可以按时间段设置集群Task节点的最大数量和最小数量，当集群Task节点数不满足当前时间资源计划节点范围要求时，系统触发扩容或缩容。
  • 用户最多可以为一个集群设置5条资源计划。
  • 资源计划周期以天为单位，起始时间与结束时间可以设置为00:00-23:59之间的任意时间点。起始时间早于结束时间至少30分钟。不同资源计划配置的时间段不可交叉。
  • 资源计划触发扩容或缩容后，存在10分钟的冷却时间，冷却时间内不会再次触发弹性伸缩。
  • 当启用资源计划时，在除配置资源计划配置时间段的其他时间内，集群Task节点数量会被限定在用户配置的默认节点数量范围内。
  • 当不启用资源计划时，集群不会将Task节点数量限制在默认节点数量范围内。
• 自动化脚本：
  • 用户可以设置自定义脚本，当弹性伸缩触发时，在集群节点上自动运行。
  • 用户最多可以为一个集群设置10个自动化脚本。
  • 可以指定自动化脚本某种或多种类型的节点上执行。
  • 脚本执行时机可以是扩容前、扩容后、缩容前或缩容后。
  • 使用自动化脚本前，请先将脚本上传到集群虚拟机或与集群同region的OBS文件系统中。集群虚拟机上的脚本只能在已有节点上执行，若脚本需要在新扩容的节点上执行，请将脚本上传到OBS。

单独使用弹性伸缩规则

1. 登录MRS管理控制台。
2. 选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名称。进入集群详情页面。
3. 在“节点管理”页签Task类型节点组的“操作”列单击“弹性伸缩”，进入“弹性伸缩”页面。

   当集群没有Task节点时，先单击“配置Task节点”增加Task节点，再执行该步骤。

4. 配置弹性伸缩规则。

   弹性伸缩规则可调控节点数量，也会对实际价格有影响，请谨慎操作。

   • 弹性伸缩：指定是否打开弹性伸缩功能，默认为关闭，开启后可配置下列参数。
   • 节点数量范围
     • 默认范围：输入Task实例弹性伸缩的数量范围，此约束应用于所有扩容缩容规则。取值范围为0～500。
     • 配置指定时间段的节点数量范围：用于配置弹性伸缩资源计划。
       1. 单击默认范围下方的“配置制定时间段的节点数量范围”。
       2. 配置“时间范围”和“节点数量范围”。此处“时间范围”和“节点数量范围”表示在该时间范围内，Task节点数量，“节点数量范围”取值范围为0~500。

          可以单击“配置制定时间段的节点数量范围”配置多条资源计划。

     

     • 如果没有配置指定时间段的节点数量范围，则节点数量范围以“默认范围”为准。
     • 如果配置了指定时间段的节点数量范围，则在这个时间范围内，以配置的“节点数量范围”为准。不在配置的时间范围时，则以“默认范围”为准。
   • 伸缩规则：需要配置扩容或者缩容，否则弹性伸缩将不会启用。

     配置操作：

     1. 勾选“扩容”或者“缩容”。
     2. 单击“添加规则”，进入“添加规则”页面。
     3. 配置“规则名称”、“如果”、“持续”、“添加”、“冷却时间”。
     4. 单击“确定”。

        您可以在弹性伸缩页面，扩容或者缩容区域查看、编辑或删除配置的规则。您可以单击“添加规则”配置多条规则。

5. 勾选“我同意授权MRS服务根据以上策略自动进行节点扩容/缩容操作。”。
6. 单击“确定”，完成弹性伸缩规则设置。

单独使用资源计划

当数据量以天为周期有规律的变化，并且希望在数据量变化前提前完成集群的扩缩容，可以使用MRS的资源计划配置在规定时间内按计划调整Task节点数量。

例如：某项实时处理业务数据量在每天7:00-13:00出现高峰，其他时间保持平稳低水平。假设我们使用MRS流式集群来处理该业务数据，在7:00-13:00时，为应对数据量高峰需要5个task节点的资源，其他时间只需要2个task节点，可按如下步骤进行配置。

1. 登录MRS管理控制台。
2. 选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名称。进入集群详情页面。
3. 在“节点管理”页签Task节点组的“操作”列单击“弹性伸缩”，进入“弹性伸缩”页面。

   当集群没有Task节点时，先单击“配置Task节点”增加Task节点，再执行该步骤。

4. 配置资源计划。

   资源计划可调控节点数量，也会对实际价格有影响，请谨慎操作。

   配置操作：

   1. 在弹性伸缩页面，开启弹性伸缩功能。
   2. 节点数量范围的“默认范围”设置为“2-2”，表示除资源计划规定时间范围外，其他时间Task节点数量固定为2个。
   3. 单击默认范围下方的“配置指定时间段的节点数量范围”。
   4. 配置“时间范围”和“节点数量范围”。此处“时间范围”设置为“07:00-13:00”，“节点数量范围”设置为“5-5”，表示在该时间范围内，Task节点数量固定为5个。参数详情请参考表2。

      可以单击“配置指定时间段的节点数量范围”配置多条资源计划。

5. （可选）配置自动化脚本。MRS 3.x版本集群不支持该操作。
   1. 在“高级配置”项选择“现在配置”。
   2. 单击“添加”，进入“自动化脚本”配置页面。
   3. 配置“名称”、“脚本路径”、“执行节点类型”、“参数”、“执行时机”、“失败操作”。参数详情请参考表3。
   4. 单击“确定”保存自动化脚本配置。

6. 勾选“我同意授权MRS服务根据以上策略自动进行节点扩容/缩容操作。”。
7. 单击“确定”，完成弹性伸缩集群设置。

弹性伸缩规则与资源计划叠加使用

假如数据量并非非常平稳，有可能出现超出预期的波动，因此并不能保证固定Task节点范围一定可以满足业务场景，我们需要在资源计划的基础上根据实时负载对Task节点数量进行调整。

例如：某项实时处理业务数据量在每天7:00-13:00出现规律性变化，但是数据量变化并非非常平稳。假设在7:00-13:00期间，需要Task节点的数量范围是5-8个，其他时间需要Task节点数量外围为2-4个。因此可以在资源计划的基础上，设置基于负载的弹性伸缩规则，以实现当数据量超出预期后，Task节点数量可以在资源计划规定的范围内根据负载情况进行浮动，但不会超出该规定范围。资源计划触发时，会以变化最小的方式使节点数量满足计划规定范围，即如果需要扩容则扩容到计划节点数量范围的下限，如果需要缩容则缩容到计划节点数量范围的上限。可按如下步骤进行配置。

1. 登录MRS管理控制台。
2. 选择“集群列表 > 现有集群”，选中一个运行中的集群并单击集群名称。进入集群详情页面。
3. 在“节点管理”页签Task节点组的“操作”列单击“弹性伸缩”，进入“弹性伸缩”页面。
4. 配置弹性伸缩规则。

   弹性伸缩规则可调控节点数量，也会对实际价格有影响，请谨慎操作。

   • 弹性伸缩：指定是否打开弹性伸缩功能，默认为关闭，开启后可配置下列参数。
   • 节点数量范围的默认范围：输入Task实例弹性伸缩的数量范围，此约束应用于所有扩容缩容规则。此处配置为2-4个。
   • 伸缩规则：需要配置扩容或者缩容，否则弹性伸缩将不会启用。

     配置操作：

     1. 勾选“扩容”或者“缩容”。
     2. 单击“添加规则”，进入“添加规则”页面。
     3. 配置“规则名称”、“如果”、“持续”、“添加”、“冷却时间”。
     4. 单击“确定”。

        您可以在弹性伸缩页面，扩容或者缩容区域查看配置的规则。

5. 配置资源计划。

   资源计划可调控节点数量，也会对实际价格有影响，请谨慎操作。

   配置操作：

   1. 在弹性伸缩页面单击默认范围下方的“配置指定时间段的节点数量范围”。
   2. 配置“时间范围”和“节点数量范围”。此处“时间范围”设置为“07:00-13:00”，“节点数量范围”设置为“5-8”。参数详情请参考表2。
   3. 可以单击“配置指定时间段的节点数量范围”配置多条资源计划。

6. 配置自动化脚本，MRS 3.x版本集群不支持该操作。
   1. 在“高级配置”项的“自动化脚本”一项单击“添加”，进入“自动化脚本”配置页面。
   2. 配置“名称”、“脚本路径”、“执行节点类型”、“参数”、“执行时机”、“失败操作”。参数详情请参考表3。
   3. 单击“确定”保存自动化脚本配置。

7. 勾选“我同意授权MRS服务根据以上策略自动进行节点扩容/缩容操作。”。
8. 单击“确定”，完成弹性伸缩集群设置。

相关信息

• 表1中指标数值类型为百分比或比率时，有效数值可精确到百分位。其中百分比类型指标数值为去除百分号（%）后的小数值，如16.80即代表16.80%。
• 混合集群的支持分析集群和流式集群的所有指标。

• 当启用资源计划时，弹性伸缩配置中的“默认节点数量范围”将在资源计划外的时间段内强制生效。例如“默认节点数量范围”配置为1-2，配置资源计划：08:00-10:00之间节点数量范围为4-5，则在一天中的非资源计划时间段（0:00-8:00以及10:00-23:59）内，Task节点会被强制限制在1个到2个中间，若节点数量大于2则触发自动缩容，若节点数量小于1则触发自动扩容。
• 当不启用资源计划时，节点数量范围的“默认范围”会在全部时间范围生效，如果节点数量不在“节点数量范围”的默认范围，主动增减Task节点数量到默认范围内。
• 资源计划间时间段不可交叉，时间段交叉意为某个时间点存在两个生效的资源计划，例如配置资源计划1在08:00-10:00生效，资源计划2在09:00-11:00生效，则两个资源计划存在时间段交叉，交叉时间段09:00-10:00。
• 资源计划不能跨天配置，例如如果要配置23:00至次日01:00的资源计划，请配置时间段为23:00-00:00和00:00-01:00的两个资源计划。

在添加自动化脚本时，可以参考表3配置相应参数。

表3 自动化脚本配置说明

配置项	说明
名称	自动化脚本的名称。 只能由数字、英文字符、空格、中划线和下划线组成，且不能以空格开头。 可输入的字符串长度为1～64个字符。 说明： 同一集群内，不允许配置相同的名称。不同集群之间，可以配置相同的名称。
脚本路径	脚本的路径。路径可以是OBS文件系统的路径或虚拟机本地的路径。 OBS文件系统的路径，必须以s3a://开头，以.sh结尾。例如：s3a://mrs-samples/xxx.sh 虚拟机本地的路径，脚本所在的路径必须以‘/’开头，以.sh结尾。例如，安装Zepelin的示例脚本路径如下：/opt/bootstrap/zepelin/zepelin_install.sh
执行节点类型	选择自动化脚本所执行的节点类型。 说明： 如果选择Master节点，您可以通过开关选择是否只在Active Master节点执行此脚本。 如果选择开启此功能，表示只在Active Master节点上执行。如果选择关闭，表示在所有Master节点执行。默认关闭。
参数	自动化脚本参数，支持通过传入以下预定义变量获得弹性伸缩相关信息： ${mrs_scale_node_num} ：弹性伸缩节点数量，总是正数 ${mrs_scale_type} ：弹性伸缩类型，扩容为“scale_out”，缩容为“scale_in” ${mrs_scale_node_hostnames} ：弹性伸缩节点的主机名，多个主机名之间以“,”隔开 ${mrs_scale_node_ips} ：弹性伸缩节点的IP，多个IP之间以“,”隔开 ${mrs_scale_rule_name}：触发弹性伸缩的规则名，如果是资源计划则为“resource_plan”
执行时机	选择自动化脚本执行的时间。支持“扩容前”、“扩容后”、“缩容前”、“缩容后”四种类型。 说明： 假设执行节点类型中包含Task节点： 执行时机为扩容前的脚本不会在将要扩容出的Task节点上执行。 执行时机为扩容后的脚本会在扩容出的Task节点上执行。 执行时机为缩容前的脚本会在即将被删除的Task节点上执行。 执行时机为缩容后的脚本不会在已经被删除的Task节点上执行。
失败操作	该脚本执行失败后，是否继续执行后续脚本和扩缩容操作。 说明： 建议您在调试阶段设置为“继续”，无论此脚本是否执行成功，则集群都能继续扩缩容操作。 若脚本执行失败，请到集群虚拟机机的“/var/log/Bootstrap”路径下查看失败日志。 由于缩容成功不可回滚，缩容后执行的脚本失败操作只能选择“继续”。

自动化脚本只在弹性伸缩时触发，手动调整集群节点时不会运行。