更新时间:2023-04-25 GMT+08:00
【Yarn WebUI】无法访问Yarn WebUI
问题现象
集群扩容到300节点后,无法访问Yarn WebUI界面。
原因分析
可能是由于集群节点较多时,NodeManager数据增加,但是未修改实例的内存,导致ResourceManager进程的垃圾回收时间过长,影响ResourceManager进程正常提供服务,在访问YARN的原生界面时异常。
此时建议修改实例的内存。
处理步骤
- 登录FusionInsight Manager,选择“集群 > 服务 > Yarn > 配置 > 全部配置 > ResourceManager > 系统”。将“GC_OPTS”参数根据实际情况调大。
集群中的NodeManager实例数量和ResourceManager内存大小的对应关系参考如下:
- 集群中的NodeManager实例数量达到100,ResourceManager实例的JVM参数建议配置为:-Xms4G -Xmx4G -XX:NewSize=512M -XX:MaxNewSize=1G
- 集群中的NodeManager实例数量达到200,ResourceManager实例的JVM参数建议配置为:-Xms6G -Xmx6G -XX:NewSize=512M -XX:MaxNewSize=1G
- 集群中的NodeManager实例数量达到500,ResourceManager实例的JVM参数建议配置为:-Xms10G -Xmx10G -XX:NewSize=1G -XX:MaxNewSize=2G
- 集群中的NodeManager实例数量达到1000,ResourceManager实例的JVM参数建议配置为:-Xms20G -Xmx20G -XX:NewSize=1G -XX:MaxNewSize=2G
- 保存配置,并重启该ResourceManager实例。
- 重新访问Yarn WebUI界面,如果依旧无法访问,请联系运维人员进行处理。