更新时间:2024-07-24 GMT+08:00

配置HetuEngine Worker节点数量

配置HetuEngine Worker节点数量说明

HetuEngine的WebUI界面,可以对计算实例的Worker节点个数进行调整,实现计算实例在资源不够时扩充资源,资源空闲时释放资源。其中包含手动扩缩容和自动扩缩容两种方式进行Worker个数调整。

  • 实例在扩缩容中时,原有业务不受影响,实例仍可以正常使用。
  • 实例动态扩缩容存在一定滞后性,旨在实现长时间周期内资源消耗的平滑调整,不能实时响应当前正在运行SQL任务对可用资源的需求。
  • 实例进行动态扩缩容后,HSConsole页面上实例配置处显示的Worker个数会保持初始设置的值,不随动态扩缩容个数变化而改变。
  • 实例开启动态扩缩容后,重启HSBroker和Yarn服务会影响扩缩容功能,如需重启,建议先关闭实例的动态扩缩容功能。
  • 进行计算实例扩容时,需要当前队列有足够的资源进行扩容,否则扩容无法达到预期,并影响后续缩容操作。
  • 手动扩缩容可以设置超时时间,通过在Manager界面,选择“HetuEngine > 配置 > 全部配置”,搜索“application.customized.properties”,增加“yarn.hetuserver.engine.flex.timeout.sec”参数,值默认值为“300”(单位秒)。
  • 手动扩容可以设置当Yarn资源不足时是否等待任务。

    通过在Manager界面,选择“HetuEngine > 配置 > 全部配置”,搜索“application.customized.properties”,增加“yarn.hetuserver.engine.worker.scale.out.resource.limit”参数,可分别设置如下值:

    • true(默认值):自动计算Yarn资源,若资源满足则直接扩容;若资源不足则不会下发扩容任务,手动扩容不生效。
    • false:不计算Yarn资源是否满足,直接下发任务到Yarn上。若资源满足则直接扩容;若资源不足则排队等待资源。

配置HetuEngine Worker节点数量步骤

  1. 使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
  2. 在概览页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。
  3. 在“计算实例”页签,在待操作的实例所属租户所在行的“操作”列单击“配置”,进入“配置实例”页签。

    • 如需手动扩缩容,修改配置界面中“Worker容器资源配置”中的“数量”的值,单击“确定”,此计算实例会进入“扩容中”或者“缩容中”状态,待扩缩容完成,计算实例状态恢复至“运行中”。
    • 如需自动扩缩容,将“高级配置”中的“是否开启动态伸缩”开关置于“是”,并参考表1配置参数,开启动态伸缩:

      处于“运行中”的计算实例会即时根据设置的动态伸缩参数进行扩缩容;其他状态的计算实例仅保存配置,保存的配置将在计算实例重启时生效。

      表1 动态伸缩参数说明

      参数

      描述

      取值样例

      负载采集周期

      每进行一次实例负载采集间隔的时间。单位:秒。

      10

      扩容阈值

      当实例资源的使用率在伸缩决策周期内的平均值都超过此阈值,实例自动启动扩容操作。

      0.9

      扩容量

      当实例启动扩容时,每次扩容的Worker数量。

      1

      扩容决策周期

      决策实例是否需要扩容的时间周期。单位:秒。

      200

      扩容超时时间

      扩容操作的超时时间。单位:秒。

      400

      缩容阈值

      当实例资源的使用率在伸缩决策周期内的平均值都超过此阈值,实例自动启动缩容操作。

      0.1

      缩容量

      当实例启动缩容时,每次缩容的Worker数量。

      1

      缩容决策周期

      决策实例是否需要缩容的时间周期。单位:秒。

      300

      缩容超时时间

      缩容操作的超时时间。单位:秒。

      600

  4. 配置完成后单击“确定”。