ALM-18011 NodeManager进程垃圾回收（GC）时间超过阈值 告警解释 系统每60秒周期性检测NodeManager进程的垃圾回收（GC）占用时间，当检测到NodeManager进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。 垃圾回收（GC）时间小于阈值时，告警恢复。

查看更多 →

shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据，减少了Executor的压力，在Executor GC的时候也不会影响其他Executor的任务运行。 操作步骤 在NodeManager中启动External shuffle

查看更多 →

慢，导致 FusionInsight 健康检查认为NodeManager进程退出，强制重启NodeManager，导致上述问题产生。 解决方法： 调整NodeManager的内存，数据量比较大（1T以上）的情况下，NodeManager的内存至少在4G以上。 父主题： Spark Core

查看更多 →

慢，导致FusionInsight健康检查认为NodeManager进程退出，强制重启NodeManager，导致上述问题产生。 解决方式： 调整NodeManager的内存，数据量比较大（1T以上）的情况下，NodeManager的内存至少在4G以上。 父主题： Spark Core

查看更多 →

vice功能，Reduce阶段所有的Executor会从NodeManager中获取数据，当数据量达到一个级别（10T级别），会出现NodeManager单点瓶颈（ShuffleService服务在NodeManager进程中），就会出现某些Task获取数据超时，从而出现该问题。

查看更多 →

vice功能，Reduce阶段所有的Executor会从NodeManager中获取数据，当数据量达到一个级别（10T级别），会出现NodeManager单点瓶颈（ShuffleService服务在NodeManager进程中），就会出现某些Task获取数据超时，从而出现该问题。

查看更多 →

cutor提供shuffle数据时，会影响任务运行。 External shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据，减少了Executor的压力，在Executor GC的时候也不会影响其他Executor的任务运行。

查看更多 →

cutor提供shuffle数据时，会影响任务运行。 External shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据，减少了Executor的压力，在Executor GC的时候也不会影响其他Executor的任务运行。

查看更多 →

的节点规格。 提高nodemanager进程所持有的集群资源。 MRS Manager界面操作： 登录MRS Manager页面，选择“服务管理 > Yarn > 服务配置”。 在“参数类别”中选择“全部配置”，然后在搜索框中搜索yarn.nodemanager.resource

查看更多 →

ALM-18010 ResourceManager进程垃圾回收（GC）时间超过阈值 告警解释 系统每60秒周期性检测ResourceManager进程的垃圾回收（GC）占用时间，当检测到ResourceManager进程的垃圾回收（GC）时间超出阈值（默认12秒）时，产生该告警。

查看更多 →

进程监控 查看进程监控 进程监控是针对主机内活跃进程进行的监控，默认采集活跃进程消耗的CPU、内存，以及打开的文件数量等信息。当您配置了自定义进程监控，还会监控包含关键字的进程个数。 插件会每分钟统计一次1分钟内消耗 CPU Top5的进程，Top5的进程不固定，进程列表中会展示出最近24小时内所有消耗CPU

查看更多 →

集群扩容到300节点后，无法访问Yarn WebUI界面。 原因分析 可能是由于集群节点较多时，NodeManager数据增加，但是未修改实例的内存，导致ResourceManager进程的垃圾回收时间过长，影响ResourceManager进程正常提供服务，在访问YARN的原生界面时异常。 此时建议修改实例的内存。

查看更多 →

n服务不可用。 90% 垃圾回收时间统计（GC） (NodeManager) 18011 NodeManager进程垃圾回收（GC）时间超过阈值 NodeManager进程的垃圾回收时间过长，可能影响该NodeManager进程正常提供服务。 12000ms 垃圾回收时间统计（GC）(ResourceManager)

查看更多 →

对系统的影响 丢失的NodeManager节点无法提供Yarn服务。 容器减少，集群性能下降。 可能原因 NodeManager没有经过退服操作，强制被删除。 NodeManager所有实例被停止或者进程故障。 NodeManager节点所在主机故障。 NodeManager和Resou

查看更多 →

检查环境当前进程数是否过多，当可用的进程数比例低于5%，认为进程数不足。edgectl check pid无检查节点进程数：示例执行结果：

查看更多 →

进程监控 应用监控 组件监控 应用发现 父主题： 基础设施监控

查看更多 →

对系统的影响 丢失的NodeManager节点无法提供Yarn服务。 容器减少，集群性能下降。 可能原因 NodeManager没有经过退服操作，强制被删除。 NodeManager所有实例被停止或者进程故障。 NodeManager节点所在主机故障。 NodeManager和Resou

查看更多 →

task异常导致Shuffle FetchFailed Executor进程Crash导致Stage重试 执行大数据量的shuffle过程时Executor注册shuffle service失败 在Spark应用执行过程中NodeManager出现OOM异常 安全集群使用HiBench工具运行sparkbench获取不到realm

查看更多 →

后端写进程 介绍后端写（background writer）进程的参数配置。后端写进程的功能就是把共享缓冲区中的脏数据（指共享缓冲区中新增或者修改的内容）写入到磁盘。目的是让数据库进程在进行用户查询时可以很少或者几乎不等待写动作的发生（写动作由后端写进程完成）。 此机制同样也减少

查看更多 →

低选择杀不同优先级的进程。 策略 触发条件 清理进程 High档 总内存剩余25% 空进程 缓存进程 Middle档 总内存剩余20% 已使用过且不可感知类进程 （不可见、无悬浮窗、无音频焦点等） Low档 总内存剩余15% 上一个使用过的Activity进程 上一个使用过的Provider进程

查看更多 →

后端写进程 介绍后端写（background writer）进程的参数配置。后端写进程的功能就是把共享缓冲区中的脏数据（指共享缓冲区中新增或者修改的内容）写入到磁盘。目的是让数据库进程在进行用户查询时可以很少或者几乎不等待写动作的发生（写动作由后端写进程完成）。 此机制同样也减少

查看更多 →