调整Yarn资源分配
HetuEngine依赖Yarn服务提供的资源分配、控制等能力,需要根据实际业务和集群的服务器配置情况调整Yarn服务配置,以获得最佳的性能效果。
- 登录FusionInsight Manager页面。
- 选择“集群 > 服务 > Yarn > 配置 > 全部配置“,参考表1配置Yarn服务参数。
表1 Yarn服务配置参数 参数名称
描述
默认值
建议值
yarn.nodemanager.resource.memory-mb
表示该节点上YARN可使用的物理内存总量,默认为16384,单位:MB。若该节点有其他业务的常驻进程,请降低此参数值给该进程预留足够运行资源。
16384
为达到最优性能,可配置为集群中节点最小物理内存的90%。
yarn.nodemanager.resource.cpu-vcores
可分配给container的CPU核数。
8
为达到最优性能,可配置为集群中节点最小CPU vCores。
yarn.scheduler.maximum-allocation-mb
为ResourceManager中每个container请求分配的最大内存。单位:MB。如果请求的内存量很多,将分配该参数设置的内存量。
65536
为达到最优性能,可配置为集群中节点最小物理内存的90%。
yarn.scheduler.maximum-allocation-vcores
ResourceManager中每个container请求的最大分配值,用虚拟CPU核数表示。高于该值的请求将不生效,且将覆写为该值。
32
为达到最优性能,可配置为集群中节点最小CPU vCores。
- 单击“保存”,保存配置。
- 选择“集群 > 服务 > Yarn > 更多 > 重启服务”,重启Yarn服务让参数生效。