更新时间:2023-04-25 GMT+08:00

【Yarn WebUI】无法访问Yarn WebUI

问题现象

集群扩容到300节点后,无法访问Yarn WebUI界面。

原因分析

可能是由于集群节点较多时,NodeManager数据增加,但是未修改实例的内存,导致ResourceManager进程的垃圾回收时间过长,影响ResourceManager进程正常提供服务,在访问YARN的原生界面时异常。

此时建议修改实例的内存。

处理步骤

  1. 登录FusionInsight Manager,选择“集群 > 服务 > Yarn > 配置 > 全部配置 > ResourceManager > 系统”。将“GC_OPTS”参数根据实际情况调大。

    集群中的NodeManager实例数量和ResourceManager内存大小的对应关系参考如下:

    • 集群中的NodeManager实例数量达到100,ResourceManager实例的JVM参数建议配置为:-Xms4G -Xmx4G -XX:NewSize=512M -XX:MaxNewSize=1G
    • 集群中的NodeManager实例数量达到200,ResourceManager实例的JVM参数建议配置为:-Xms6G -Xmx6G -XX:NewSize=512M -XX:MaxNewSize=1G
    • 集群中的NodeManager实例数量达到500,ResourceManager实例的JVM参数建议配置为:-Xms10G -Xmx10G -XX:NewSize=1G -XX:MaxNewSize=2G
    • 集群中的NodeManager实例数量达到1000,ResourceManager实例的JVM参数建议配置为:-Xms20G -Xmx20G -XX:NewSize=1G -XX:MaxNewSize=2G

  2. 保存配置,并重启该ResourceManager实例。
  3. 重新访问Yarn WebUI界面,如果依旧无法访问,请联系运维人员进行处理。