调整worker节点数量

操作场景

在HetuEngine的WebUI界面，可以对计算实例的worker节点个数进行调整，实现计算实例在资源不够时扩充资源，资源空闲时释放资源。其中包含手动扩缩容和自动扩缩容两种方式进行worker个数调整。

前提条件

已创建好用于访问HetuEngine WebUI界面的用户，用户创建具体操作请参见创建HetuEngine用户。

• 实例在扩缩容中时，原有业务不受影响，实例仍可以正常使用。
• 实例开启扩缩容存在一定滞后性，旨在实现长时间周期内资源消耗的平滑调整，不能实时响应当前正在运行SQL任务对可用资源的需求。
• 实例开启扩缩容后，重启HSBroker和Yarn服务会影响扩缩容功能，如需重启，建议先关闭实例的扩缩容功能。
• 进行计算实例扩容时，需要当前队列有足够的资源进行扩容，否则扩容无法达到预期，并影响后续缩容操作。
• 手动扩缩容可以通过在Manager界面，选择“HetuEngine > 配置 > 全部配置”，搜索“application.customized.properties”，增加“yarn.hetuserver.engine.flex.timeout.sec”参数，值默认值为“300”（单位秒）。

操作步骤

1. 使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
2. 在概览页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。
3. 单击“计算实例”。
4. 在待操作的实例所在行“操作”列单击“配置”。
5. 如需手动扩缩容，修改配置界面中worker个数，单击“确定”，此计算实例会进入“扩容中”或者“缩容中”状态，待扩缩容完成，计算实例状态恢复至“运行中”。
6. 如需自动扩缩容，选择“配置实例 > 高级配置”，单击“是否开启动态伸缩”开关：
   • OFF：关闭动态伸缩。
   • ON：开启动态伸缩，请参考表1配置参数，配置界面如图1。

     表1 动态伸缩参数说明

     参数	描述	取值样例
     扩容阈值	当实例资源的使用率在伸缩决策周期内的平均值都超过此阈值，实例自动启动扩容操作。	0.9
     扩容量	当实例启动扩容时，每次扩容的worker数量。	1
     扩容决策周期	决策实例是否需要扩容的时间周期。单位：秒。	200
     缩容阈值	当实例资源的使用率在伸缩决策周期内的平均值都超过此阈值，实例自动启动缩容操作。	0.1
     缩容量	当实例启动缩容时，每次缩容的worker数量。	1
     缩容决策周期	决策实例是否需要缩容的时间周期。单位：秒。	300
     负载采集周期	每进行一次实例负载采集间隔的时间。单位：秒	10
     扩容超时时间	扩容操作的超时时间。单位:秒	400
     缩容超时时间	缩容操作的超时时间。单位：秒	600

     图1 实例扩缩容配置