配置HetuEngine Coordinator运行的节点范围
默认情况下,Coordinator和Worker节点会随机启动在Yarn的NodeManager节点上,若需要开放端口,需要开放所有NodeManager节点的端口。HetuEngine利用Yarn的资源标签提供了限制Coordinator在指定NodeManager节点上运行的方案。
操作步骤
- 使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager。
- 配置Yarn参数指定scheduler处理PlacementConstraints。
- 选择“集群 > 服务 > Yarn > 配置 > 全部配置”,搜索参数“yarn.resourcemanager.placement-constraints.handler”,并将其“值”设置为“scheduler”,单击“保存”并确定,保存配置。
- 单击“实例”,勾选ResourceManager实例(主、备实例都需要重启),选择“更多 > 重启实例”重启Yarn的ResourceManager实例,等待实例重启成功。
- 配置资源标签。
- 选择“租户资源 > 资源池”,单击“添加资源池”。
- 选择集群,输入名称和资源标签,如“pool1”,勾选对应主机,单击将选中主机添加入新的资源池,单击“确定”。
- 配置资源池的队列容量策略。
- 单击“动态资源计划”,在“资源分布策略”的“资源池”,选择上一步创建的资源池。
- 在“资源分配”表格,指定租户资源名队列的“操作”列,单击“修改”。
- 在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略,需确保最大资源项大于0。
- 配置HetuEngine参数开启Coordinator放置策略,输入节点资源标签。
- 选中“集群 > 服务 > HetuEngine > 配置 > 全部配置”,配置如下参数,单击“保存”保存配置。
表1 HetuEngine参数配置 参数
值
yarn.hetuserver.engine.coordinator.placement.enabled
true
yarn.hetuserver.engine.coordinator.placement.label
3中创建的资源标签(如:pool1)
- 单击“概览”,选择“更多 > 重启服务”,等待HetuEngine服务重启成功。
- 选中“集群 > 服务 > HetuEngine > 配置 > 全部配置”,配置如下参数,单击“保存”保存配置。
- 重启HetuEngine计算实例。
- 在概览页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。
- 停止正在运行的计算实例,然后单击待操作实例所在行的“操作”列的“启动”,启动HetuEngine计算实例。
- 查看Coordinator运行的节点范围。
- 返回Manager页面。
- 选择“集群 > 服务 > Yarn”,在概览页签下的“基本信息”区域,单击“ResourceManager WebUI”后的链接。
- 在左侧导航栏选择“Cluster > Nodes”,可以查看Coordinator启动在3设置的资源池节点上。
图1 查看Coordinator