添加MRS集群Task节点弹性伸缩策略

当用户需要根据集群实时负载指标或集群资源池指标对Task节点数量进行调整，可以使用MRS的弹性伸缩规则调整Task节点数量。

例如：用户需要根据Yarn资源使用情况动态调整节点数，在Yarn可用内存低于20%时扩容5个节点，可用内存高于70%时缩容5个节点。Task节点组最高不超过10个节点，最低不少于1个节点。

1. 进入弹性伸缩配置界面后，配置弹性伸缩规则。
   • 配置节点默认范围

     输入Task实例弹性伸缩的数量范围，此约束应用于所有扩容缩容规则，取值范围为0～500。

     例如本业务场景中，配置为1~10。

   • 配置弹性伸缩规则

     需要配置扩容或者缩容规则，否则弹性伸缩将不会启用。

     1. 规则类型选择“扩容”或者“缩容”。
     2. 单击“添加规则”，进入规则编辑页面。
        • 用户对于一个集群，可以同时设置扩容、缩容最多各5条弹性伸缩规则。
        • 系统根据用户的配置顺序从前到后依次判断规则，先扩容，后缩容。请尽量把重要的策略放在前面，以防一次扩容或缩容无法达到预期效果而进行反复触发。
     3. 根据实际需要，配置相关参数。
        图2 添加规则
        

        表1 伸缩规则参数介绍

        参数名称	参数解释	取值样例
        规则名称	伸缩规则名称。	default-expand-1
        如果	配置弹性伸缩指标阈值规则。 弹性伸缩指标介绍请参见MRS集群Task节点弹性伸缩概述章节表1。 比对因子包括大于、大于等于、小于、小于等于。	YARNMemoryAvailablePercentage 小于等于 20%
        持续	集群连续5n（n默认值为1）分钟持续满足配置的指标阈值后才能触发扩容或者缩容。	1
        添加	单次扩容或者缩容的Task节点数，最小1个节点，最大100个节点。	5
        冷却时间	一次弹性伸缩操作完成到下次弹性伸缩操作的时间间隔。 冷却时间默认为20分钟，最小值为0。	20

     4. 单击“确定”。

        您可以在弹性伸缩页面，扩容或者缩容区域查看、编辑或删除配置的规则。您可以继续添加并配置多条规则。

2. 单击“确定”，完成弹性伸缩规则设置。
   • 如果是为已有集群配置弹性伸缩的场景，需勾选“我同意授权MRS服务根据以上策略自动进行节点扩容/缩容操作。”。
   • 配置完成后，当集群的业务运行状态满足相关弹性伸缩要求时，系统会自动对Task节点组进行扩容或缩容操作。
   • 用户可以在左侧导航栏单击“操作日志”，查看当前集群的扩缩容详情。

当数据量以天为周期有规律的变化，并且希望在数据量变化前提前完成集群的扩缩容，可以使用MRS的资源计划配置在规定时间内按计划调整Task节点数量。

例如：某项实时处理业务数据量在周一、周二和周六7:00~13:00出现高峰，其他时间保持平稳低水平。假设使用MRS流式集群来处理该业务数据，在周一、周二和周六7:00~13:00时，为应对数据量高峰需要5个Task节点的资源，其他时间只需要2个Task节点。

1. 进入弹性伸缩配置界面后，配置资源计划。
2. 设置节点数量范围的“默认范围”，例如设置为“2-2”，表示除资源计划规定时间范围外，其他时间Task节点数量固定为2个。
3. 单击默认范围下方的“配置指定时间段的节点数量范围”或者“添加资源计划”。
4. 根据实际需要，配置“生效日期”、“时间范围”和“节点数量范围”。

   可以单击“配置指定时间段的节点数量范围”配置多条资源计划，最多可以配置5条。

   资源计划触发扩容或缩容后，存在10分钟的冷却时间，冷却时间内不会再次触发弹性伸缩。

   表2 伸缩规则参数介绍

   参数名称	参数解释	取值样例
   生效日期	生效日期默认是每日生效，也可以选择周一至周日任意一天或几天生效。	周一、周二和周六
   时间范围	起始时间早于结束时间至少30分钟。不同资源计划配置的时间段不可交叉。	07:00-13:00
   节点数量范围	如果配置了指定时间段的节点数量范围，则在这个时间范围内，以配置的“节点数量范围”为准。不在配置的时间范围时，则以“默认范围”为准。 如果没有配置指定时间段的节点数量范围，则节点数量范围以“默认范围”为准。	5-5

5. 单击“确定”，完成资源计划设置。
   • 如果是为已有集群配置资源计划的场景，需勾选“我同意授权MRS服务根据以上策略自动进行节点扩容/缩容操作。”。
   • 配置完成后，当集群的业务运行状态满足相关弹性伸缩要求时，系统会自动对Task节点组进行扩容或缩容操作。
   • 用户可以在左侧导航栏单击“操作日志”，查看当前集群的扩缩容详情。

如果数据量并非非常平稳，有可能出现超出预期的波动，因此并不能保证固定Task节点范围一定可以满足业务场景，此时需要在资源计划的基础上根据实时负载对Task节点数量进行调整。

例如：某项实时处理业务数据量在周一、周二和周六7:00~13:00出现规律性变化，但是数据量变化并非非常平稳。在周一、周二和周六7:00~13:00期间，需要Task节点的数量范围是5~8个，其他时间需要Task节点数量是2~4个。因此可以在资源计划的基础上，设置基于负载的弹性伸缩规则，以实现当数据量超出预期后，Task节点数量可以在资源计划规定的范围内根据负载情况进行浮动，但不会超出该规定范围。资源计划触发时，会以变化最小的方式使节点数量满足计划规定范围，即如果需要扩容则扩容到计划节点数量范围的下限，如果需要缩容则缩容到计划节点数量范围的上限。

1. 进入弹性伸缩配置界面后，配置弹性伸缩规则。

   弹性伸缩规则可调控节点数量，也会对实际价格有影响，请谨慎操作。

   • 节点数量范围的默认范围：

     输入Task实例弹性伸缩的数量范围，此约束应用于所有扩容缩容规则。

     集群Task节点数量会被限定在用户配置的默认节点数量范围内或者当前时间段生效的资源计划的节点数量范围内。当前时间段生效的资源计划的节点数量范围优先级更高。

     例如本场景中，配置为2~4个。

   • 配置弹性伸缩规则：

     需要配置扩容或者缩容，否则弹性伸缩将不会启用。

     1. 规则类型选择“扩容”或者“缩容”。
     2. 单击“添加规则”，进入“添加规则”页面。
        • 用户对于一个集群，可以同时设置扩容、缩容最多各5条弹性伸缩规则。
        • 系统根据用户的配置顺序从前到后依次判断规则，先扩容，后缩容。请尽量把重要的策略放在前面，以防一次扩容或缩容无法达到预期效果而进行反复触发。
     3. 根据实际需要，配置相关参数。
        图3 添加规则
        

        表3 伸缩规则参数介绍

        参数名称	参数解释	取值样例
        规则名称	伸缩规则名称。	default-expand-2
        如果	配置弹性伸缩指标阈值规则。 弹性伸缩指标介绍请参见MRS集群Task节点弹性伸缩概述章节表1。 比对因子包括大于、大于等于、小于、小于等于。	YARNAppPending 大于 75
        持续	集群连续5n（n默认值为1）分钟持续满足配置的指标阈值后才能触发扩容或者缩容。	1
        添加	单次扩容或者缩容的Task节点数，最小1个节点，最大100个节点。	1
        冷却时间	一次弹性伸缩操作完成到下次弹性伸缩操作的时间间隔。 冷却时间默认为20分钟，最小值为0。	20

     4. 单击“确定”。

        您可以在弹性伸缩页面，扩容或者缩容区域查看配置的规则。

2. 配置资源计划。
   1. 单击节点默认范围下方的“配置指定时间段的节点数量范围”或者“添加资源计划”。
   2. 配置“生效日期”、“时间范围”和“节点数量范围”。

      单击“配置指定时间段的节点数量范围”或者“添加资源计划”按钮配置多条资源计划。

      资源计划触发扩容或缩容后，存在10分钟的冷却时间，冷却时间内不会再次触发弹性伸缩。

      表4 伸缩规则参数介绍

      参数名称	参数解释	取值样例
      生效日期	生效日期默认是每日生效，也可以选择周一至周日任意一天或几天生效。	周一、周二和周六
      时间范围	起始时间早于结束时间至少30分钟。不同资源计划配置的时间段不可交叉。	07:00-13:00
      节点数量范围	如果配置了指定时间段的节点数量范围，则在这个时间范围内，以配置的“节点数量范围”为准。不在配置的时间范围时，则以“默认范围”为准。 如果没有配置指定时间段的节点数量范围，则节点数量范围以“默认范围”为准。	5-8

3. 单击“确定”，完成设置。
   • 如果是为已有集群配置的场景，需勾选“我同意授权MRS服务根据以上策略自动进行节点扩容/缩容操作。”。
   • 配置完成后，当集群的业务运行状态满足相关弹性伸缩要求时，系统会自动对Task节点组进行扩容或缩容操作。
   • 用户可以在左侧导航栏单击“操作日志”，查看当前集群的扩缩容详情。

当用户需要根据集群实时负载指标或集群资源池指标对Task节点数量进行调整，可以使用MRS的弹性伸缩规则调整Task节点数量。

例如：用户需要根据Yarn资源使用情况动态调整节点数，在Yarn可用内存低于20%时扩容5个节点，可用内存高于70%时缩容5个节点。Task节点组最高不超过10个节点，最低不少于1个节点。

1. 进入弹性伸缩配置界面后，配置弹性伸缩规则。
   • 配置节点默认范围

     输入Task实例弹性伸缩的数量范围，此约束应用于所有扩容缩容规则，取值范围为0～500。

     例如本业务场景中，配置为1~10。

   • 配置弹性伸缩规则

     需要配置扩容或者缩容规则，否则弹性伸缩将不会启用。

     1. 规则类型选择“扩容”或者“缩容”。
     2. 单击“添加规则”，进入规则编辑页面。
        • 用户对于一个集群，可以同时设置扩容、缩容最多各5条弹性伸缩规则。
        • 系统根据用户的配置顺序从前到后依次判断规则，先扩容，后缩容。请尽量把重要的策略放在前面，以防一次扩容或缩容无法达到预期效果而进行反复触发。
     3. 根据实际需要，配置相关参数。
        图6 添加规则
        

        表5 伸缩规则参数介绍

        参数名称	参数解释	取值样例
        规则名称	伸缩规则名称。	default-expand-1
        如果	配置弹性伸缩指标阈值规则。 弹性伸缩指标介绍请参见MRS集群Task节点弹性伸缩概述章节表1。 比对因子包括大于、大于等于、小于、小于等于。	YARNMemoryAvailablePercentage 小于等于 20%
        持续	集群连续5n（n默认值为1）分钟持续满足配置的指标阈值后才能触发扩容或者缩容。	1
        添加	单次扩容或者缩容的Task节点数，最小1个节点，最大100个节点。	5
        冷却时间	一次弹性伸缩操作完成到下次弹性伸缩操作的时间间隔。 冷却时间默认为20分钟，最小值为0。	20

     4. 单击“确定”。

        您可以在弹性伸缩页面，扩容或者缩容区域查看、编辑或删除配置的规则。您可以继续添加并配置多条规则。

2. 单击“确定”，完成弹性伸缩规则设置。
   • 如果是为已有集群配置弹性伸缩的场景，需勾选“我同意授权MRS服务根据以上策略自动进行节点扩容/缩容操作。”。
   • 配置完成后，当集群的业务运行状态满足相关弹性伸缩要求时，系统会自动对Task节点组进行扩容或缩容操作。
   • 用户可以在左侧导航栏单击“操作日志”，查看当前集群的扩缩容详情。

当数据量以天为周期有规律的变化，并且希望在数据量变化前提前完成集群的扩缩容，可以使用MRS的资源计划配置在规定时间内按计划调整Task节点数量。

例如：某项实时处理业务数据量在周一、周二和周六7:00~13:00出现高峰，其他时间保持平稳低水平。假设使用MRS流式集群来处理该业务数据，在周一、周二和周六7:00~13:00时，为应对数据量高峰需要5个Task节点的资源，其他时间只需要2个Task节点。

1. 进入弹性伸缩配置界面后，配置资源计划。
2. 设置节点数量范围的“默认范围”，例如设置为“2-2”，表示除资源计划规定时间范围外，其他时间Task节点数量固定为2个。
3. 单击默认范围下方的“配置指定时间段的节点数量范围”或者“添加资源计划”。
4. 根据实际需要，配置“生效日期”、“时间范围”和“节点数量范围”。

   可以单击“配置指定时间段的节点数量范围”配置多条资源计划，最多可以配置5条。

   资源计划触发扩容或缩容后，存在10分钟的冷却时间，冷却时间内不会再次触发弹性伸缩。

   表6 伸缩规则参数介绍

   参数名称	参数解释	取值样例
   生效日期	生效日期默认是每日生效，也可以选择周一至周日任意一天或几天生效。	周一、周二和周六
   时间范围	起始时间早于结束时间至少30分钟。不同资源计划配置的时间段不可交叉。	07:00-13:00
   节点数量范围	如果配置了指定时间段的节点数量范围，则在这个时间范围内，以配置的“节点数量范围”为准。不在配置的时间范围时，则以“默认范围”为准。 如果没有配置指定时间段的节点数量范围，则节点数量范围以“默认范围”为准。	5-5

5. 单击“确定”，完成资源计划设置。
   • 如果是为已有集群配置资源计划的场景，需勾选“我同意授权MRS服务根据以上策略自动进行节点扩容/缩容操作。”。
   • 配置完成后，当集群的业务运行状态满足相关弹性伸缩要求时，系统会自动对Task节点组进行扩容或缩容操作。
   • 用户可以在左侧导航栏单击“操作日志”，查看当前集群的扩缩容详情。

如果数据量并非非常平稳，有可能出现超出预期的波动，因此并不能保证固定Task节点范围一定可以满足业务场景，此时需要在资源计划的基础上根据实时负载对Task节点数量进行调整。

例如：某项实时处理业务数据量在周一、周二和周六7:00~13:00出现规律性变化，但是数据量变化并非非常平稳。在周一、周二和周六7:00~13:00期间，需要Task节点的数量范围是5~8个，其他时间需要Task节点数量是2~4个。因此可以在资源计划的基础上，设置基于负载的弹性伸缩规则，以实现当数据量超出预期后，Task节点数量可以在资源计划规定的范围内根据负载情况进行浮动，但不会超出该规定范围。资源计划触发时，会以变化最小的方式使节点数量满足计划规定范围，即如果需要扩容则扩容到计划节点数量范围的下限，如果需要缩容则缩容到计划节点数量范围的上限。

1. 进入弹性伸缩配置界面后，配置弹性伸缩规则。

   弹性伸缩规则可调控节点数量，也会对实际价格有影响，请谨慎操作。

   • 节点数量范围的默认范围：

     输入Task实例弹性伸缩的数量范围，此约束应用于所有扩容缩容规则。

     集群Task节点数量会被限定在用户配置的默认节点数量范围内或者当前时间段生效的资源计划的节点数量范围内。当前时间段生效的资源计划的节点数量范围优先级更高。

     例如本场景中，配置为2~4个。

   • 配置弹性伸缩规则：

     需要配置扩容或者缩容，否则弹性伸缩将不会启用。

     1. 规则类型选择“扩容”或者“缩容”。
     2. 单击“添加规则”，进入“添加规则”页面。
        • 用户对于一个集群，可以同时设置扩容、缩容最多各5条弹性伸缩规则。
        • 系统根据用户的配置顺序从前到后依次判断规则，先扩容，后缩容。请尽量把重要的策略放在前面，以防一次扩容或缩容无法达到预期效果而进行反复触发。
     3. 根据实际需要，配置相关参数。
        图7 添加规则
        

        表7 伸缩规则参数介绍

        参数名称	参数解释	取值样例
        规则名称	伸缩规则名称。	default-expand-2
        如果	配置弹性伸缩指标阈值规则。 弹性伸缩指标介绍请参见MRS集群Task节点弹性伸缩概述章节表1。 比对因子包括大于、大于等于、小于、小于等于。	YARNAppPending 大于 75
        持续	集群连续5n（n默认值为1）分钟持续满足配置的指标阈值后才能触发扩容或者缩容。	1
        添加	单次扩容或者缩容的Task节点数，最小1个节点，最大100个节点。	1
        冷却时间	一次弹性伸缩操作完成到下次弹性伸缩操作的时间间隔。 冷却时间默认为20分钟，最小值为0。	20

     4. 单击“确定”。

        您可以在弹性伸缩页面，扩容或者缩容区域查看配置的规则。

2. 配置资源计划。
   1. 单击节点默认范围下方的“配置指定时间段的节点数量范围”或者“添加资源计划”。
   2. 配置“生效日期”、“时间范围”和“节点数量范围”。

      单击“配置指定时间段的节点数量范围”或者“添加资源计划”按钮配置多条资源计划。

      资源计划触发扩容或缩容后，存在10分钟的冷却时间，冷却时间内不会再次触发弹性伸缩。

      表8 伸缩规则参数介绍

      参数名称	参数解释	取值样例
      生效日期	生效日期默认是每日生效，也可以选择周一至周日任意一天或几天生效。	周一、周二和周六
      时间范围	起始时间早于结束时间至少30分钟。不同资源计划配置的时间段不可交叉。	07:00-13:00
      节点数量范围	如果配置了指定时间段的节点数量范围，则在这个时间范围内，以配置的“节点数量范围”为准。不在配置的时间范围时，则以“默认范围”为准。 如果没有配置指定时间段的节点数量范围，则节点数量范围以“默认范围”为准。	5-8

3. 单击“确定”，完成设置。
   • 如果是为已有集群配置的场景，需勾选“我同意授权MRS服务根据以上策略自动进行节点扩容/缩容操作。”。
   • 配置完成后，当集群的业务运行状态满足相关弹性伸缩要求时，系统会自动对Task节点组进行扩容或缩容操作。
   • 用户可以在左侧导航栏单击“操作日志”，查看当前集群的扩缩容详情。