配置HetuEngine Worker节点数量

配置HetuEngine Worker节点数量说明

在HetuEngine的WebUI界面，可以对计算实例的Worker节点个数进行调整，实现计算实例在资源不够时扩充资源，资源空闲时释放资源。其中包含手动扩缩容和自动扩缩容两种方式进行Worker个数调整。

• 实例在扩缩容中时，原有业务不受影响，实例仍可以正常使用。
• 实例动态扩缩容存在一定滞后性，旨在实现长时间周期内资源消耗的平滑调整，不能实时响应当前正在运行SQL任务对可用资源的需求。
• 实例进行动态扩缩容后，HSConsole页面上实例配置处显示的Worker个数会保持初始设置的值，不随动态扩缩容个数变化而改变。
• 实例开启动态扩缩容后，重启HSBroker和Yarn服务会影响扩缩容功能，如需重启，建议先关闭实例的动态扩缩容功能。
• 进行计算实例扩容时，需要当前队列有足够的资源进行扩容，否则扩容无法达到预期，并影响后续缩容操作。
• 手动扩缩容可以设置超时时间，通过在Manager界面，选择“HetuEngine > 配置 > 全部配置”，搜索“application.customized.properties”，增加“yarn.hetuserver.engine.flex.timeout.sec”参数，值默认值为“300”（单位秒）。
• 手动扩容可以设置当Yarn资源不足时是否等待任务。

  通过在Manager界面，选择“HetuEngine > 配置 > 全部配置”，搜索“application.customized.properties”，增加“yarn.hetuserver.engine.worker.scale.out.resource.limit”参数，可分别设置如下值：

  • true（默认值）：自动计算Yarn资源，若资源满足则直接扩容；若资源不足则不会下发扩容任务，手动扩容不生效。
  • false：不计算Yarn资源是否满足，直接下发任务到Yarn上。若资源满足则直接扩容；若资源不足则排队等待资源。

配置HetuEngine Worker节点数量步骤

1. 使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
2. 在概览页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。
3. 在“计算实例”页签，在待操作的实例所属租户所在行的“操作”列单击“配置”，进入“配置实例”页签。
   • 如需手动扩缩容，修改配置界面中“Worker容器资源配置”中的“数量”的值，单击“确定”，此计算实例会进入“扩容中”或者“缩容中”状态，待扩缩容完成，计算实例状态恢复至“运行中”。
   • 如需自动扩缩容，将“高级配置”中的“是否开启动态伸缩”开关置于“是”，并参考表1配置参数，开启动态伸缩：
     

     处于“运行中”的计算实例会即时根据设置的动态伸缩参数进行扩缩容；其他状态的计算实例仅保存配置，保存的配置将在计算实例重启时生效。

     表1 动态伸缩参数说明

     参数	描述	取值样例
     负载采集周期	每进行一次实例负载采集间隔的时间。单位：秒。	10
     扩容阈值	当实例资源的使用率在伸缩决策周期内的平均值都超过此阈值，实例自动启动扩容操作。	0.9
     扩容量	当实例启动扩容时，每次扩容的Worker数量。	1
     扩容决策周期	决策实例是否需要扩容的时间周期。单位：秒。	200
     扩容超时时间	扩容操作的超时时间。单位:秒。	400
     缩容阈值	当实例资源的使用率在伸缩决策周期内的平均值都超过此阈值，实例自动启动缩容操作。	0.1
     缩容量	当实例启动缩容时，每次缩容的Worker数量。	1
     缩容决策周期	决策实例是否需要缩容的时间周期。单位：秒。	300
     缩容超时时间	缩容操作的超时时间。单位：秒。	600

4. 配置完成后单击“确定”。