更新时间:2024-07-24 GMT+08:00
配置HetuEngine Worker节点数量
配置HetuEngine Worker节点数量说明
在HetuEngine的WebUI界面,可以对计算实例的Worker节点个数进行调整,实现计算实例在资源不够时扩充资源,资源空闲时释放资源。其中包含手动扩缩容和自动扩缩容两种方式进行Worker个数调整。
- 实例在扩缩容中时,原有业务不受影响,实例仍可以正常使用。
- 实例动态扩缩容存在一定滞后性,旨在实现长时间周期内资源消耗的平滑调整,不能实时响应当前正在运行SQL任务对可用资源的需求。
- 实例进行动态扩缩容后,HSConsole页面上实例配置处显示的Worker个数会保持初始设置的值,不随动态扩缩容个数变化而改变。
- 实例开启动态扩缩容后,重启HSBroker和Yarn服务会影响扩缩容功能,如需重启,建议先关闭实例的动态扩缩容功能。
- 进行计算实例扩容时,需要当前队列有足够的资源进行扩容,否则扩容无法达到预期,并影响后续缩容操作。
- 手动扩缩容可以设置超时时间,通过在Manager界面,选择“HetuEngine > 配置 > 全部配置”,搜索“application.customized.properties”,增加“yarn.hetuserver.engine.flex.timeout.sec”参数,值默认值为“300”(单位秒)。
- 手动扩容可以设置当Yarn资源不足时是否等待任务。
通过在Manager界面,选择“HetuEngine > 配置 > 全部配置”,搜索“application.customized.properties”,增加“yarn.hetuserver.engine.worker.scale.out.resource.limit”参数,可分别设置如下值:
- true(默认值):自动计算Yarn资源,若资源满足则直接扩容;若资源不足则不会下发扩容任务,手动扩容不生效。
- false:不计算Yarn资源是否满足,直接下发任务到Yarn上。若资源满足则直接扩容;若资源不足则排队等待资源。
配置HetuEngine Worker节点数量步骤
- 使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
- 在概览页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。
- 在“计算实例”页签,在待操作的实例所属租户所在行的“操作”列单击“配置”,进入“配置实例”页签。
- 如需手动扩缩容,修改配置界面中“Worker容器资源配置”中的“数量”的值,单击“确定”,此计算实例会进入“扩容中”或者“缩容中”状态,待扩缩容完成,计算实例状态恢复至“运行中”。
- 如需自动扩缩容,将“高级配置”中的“是否开启动态伸缩”开关置于“是”,并参考表1配置参数,开启动态伸缩:
处于“运行中”的计算实例会即时根据设置的动态伸缩参数进行扩缩容;其他状态的计算实例仅保存配置,保存的配置将在计算实例重启时生效。
表1 动态伸缩参数说明 参数
描述
取值样例
负载采集周期
每进行一次实例负载采集间隔的时间。单位:秒。
10
扩容阈值
当实例资源的使用率在伸缩决策周期内的平均值都超过此阈值,实例自动启动扩容操作。
0.9
扩容量
当实例启动扩容时,每次扩容的Worker数量。
1
扩容决策周期
决策实例是否需要扩容的时间周期。单位:秒。
200
扩容超时时间
扩容操作的超时时间。单位:秒。
400
缩容阈值
当实例资源的使用率在伸缩决策周期内的平均值都超过此阈值,实例自动启动缩容操作。
0.1
缩容量
当实例启动缩容时,每次缩容的Worker数量。
1
缩容决策周期
决策实例是否需要缩容的时间周期。单位:秒。
300
缩容超时时间
缩容操作的超时时间。单位:秒。
600
- 配置完成后单击“确定”。
父主题: 管理HetuEngine计算实例