更新时间:2024-08-01 GMT+08:00
分享

调整Yarn资源分配

HetuEngine依赖Yarn服务提供的资源分配、控制等能力,需要根据实际业务和集群的服务器配置情况调整Yarn服务配置,以获得最佳的性能效果。

  1. 登录FusionInsight Manager页面。
  2. 选择“集群 > 服务 > Yarn > 配置 > 全部配置“,参考表1配置Yarn服务参数。

    表1 Yarn服务配置参数

    参数名称

    描述

    默认值

    建议值

    yarn.nodemanager.resource.memory-mb

    表示该节点上YARN可使用的物理内存总量,默认为16384,单位:MB。若该节点有其他业务的常驻进程,请降低此参数值给该进程预留足够运行资源。

    16384

    为达到最优性能,可配置为集群中节点最小物理内存的90%。

    yarn.nodemanager.resource.cpu-vcores

    可分配给container的CPU核数。

    8

    为达到最优性能,可配置为集群中节点最小CPU vCores。

    yarn.scheduler.maximum-allocation-mb

    为ResourceManager中每个container请求分配的最大内存。单位:MB。如果请求的内存量很多,将分配该参数设置的内存量。

    65536

    为达到最优性能,可配置为集群中节点最小物理内存的90%。

    yarn.scheduler.maximum-allocation-vcores

    ResourceManager中每个container请求的最大分配值,用虚拟CPU核数表示。高于该值的请求将不生效,且将覆写为该值。

    32

    为达到最优性能,可配置为集群中节点最小CPU vCores。

  3. 单击“保存”,保存配置。
  4. 选择“集群 > 服务 > Yarn > 更多 > 重启服务”,重启Yarn服务让参数生效。

相关文档