更新时间:2024-10-28 GMT+08:00

配置HetuEngine Coordinator运行的节点范围

默认情况下,Coordinator和Worker节点会随机启动在Yarn的NodeManager节点上,若需要开放端口,需要开放所有NodeManager节点的端口。HetuEngine利用Yarn的资源标签提供了限制Coordinator在指定NodeManager节点上运行的方案。

操作步骤

  1. 使用可访问HetuEngine WebUI界面的用户登录FusionInsight Manager。
  2. 配置Yarn参数指定scheduler处理PlacementConstraints。

    1. 选择“集群 > 服务 > Yarn > 配置 > 全部配置”,搜索参数“yarn.resourcemanager.placement-constraints.handler”,并将其“值”设置为“scheduler”,单击“保存”并确定,保存配置。
    2. 单击“实例”,勾选ResourceManager实例(主、备实例都需要重启),选择“更多 > 重启实例”重启Yarn的ResourceManager实例,等待实例重启成功。

  3. 配置资源标签。

    1. 选择“租户资源 > 资源池”,单击“添加资源池”。
    2. 选择集群,输入名称和资源标签,如“pool1”,勾选对应主机,单击将选中主机添加入新的资源池,单击“确定”。

  4. 配置资源池的队列容量策略。

    1. 单击“动态资源计划”,在“资源分布策略”的“资源池”,选择上一步创建的资源池。
    2. 在“资源分配”表格,指定租户资源名队列的“操作”列,单击“修改”。
    3. 在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略,需确保最大资源项大于0。详细参数配置可参考配置资源池的队列容量策略

  5. 配置HetuEngine参数开启Coordinator放置策略,输入节点资源标签。

    1. 选中“集群 > 服务 > HetuEngine > 配置 > 全部配置”,配置如下参数,单击“保存”保存配置。
      表1 HetuEngine参数配置

      参数

      yarn.hetuserver.engine.coordinator.placement.enabled

      true

      yarn.hetuserver.engine.coordinator.placement.label

      3中创建的资源标签(如:pool1)

    2. 单击“概览”,选择“更多 > 重启服务”,等待HetuEngine服务重启成功。

  6. 重启HetuEngine计算实例。

    1. 在概览页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。
    2. 停止正在运行的计算实例,然后单击待操作实例所在行的“操作”列的“启动”,启动HetuEngine计算实例。

  7. 查看Coordinator运行的节点范围。

    1. 返回Manager页面。
    2. 选择“集群 > 服务 > Yarn”,在概览页签下的“基本信息”区域,单击“ResourceManager WebUI”后的链接。
    3. 在左侧导航栏选择“Cluster > Nodes”,可以查看Coordinator启动在3设置的资源池节点上。
      图1 查看Coordinator