（Label Based Scheduling）。通过此策略，YARN任务队列可以关联带有特定节点标签（Node Label）的NodeManager，使YARN任务在指定的节点运行，实现任务的调度与使用特定硬件资源的需求。例如，需要使用大量内存的YARN任务，可以通过标签关联具

查看更多 →

Yarn运维管理 Yarn常用配置参数 Yarn日志介绍 配置Yarn本地化日志级别 检测Yarn内存使用情况 更改NodeManager的存储目录 父主题： 使用Yarn

查看更多 →

ranger-yarn-plugin-enable.log Yarn启用Ranger鉴权的日志 yarn-nodemanager-period-check.log Yarn nodemanager的周期检查日志 yarn-resourcemanager-period-check.log Yarn

查看更多 →

间已远超过删除时间。 为避免出现这种场景，您可以参考修改集群服务配置参数，进入Yarn“全部配置”页面。在搜索框搜索“yarn.nodemanager.linux-container-executor.cgroups.delete-timeout-ms”配置项来修改删除时间的时长。参数值的单位为毫秒。

查看更多 →

任务日志记录了每个运行在Container中的任务输出的日志信息。默认情况下，任务日志只会存放在各NodeManager的本地磁盘上。打开日志聚合功能后，NodeManager会在作业运行完成后将本地的任务日志进行合并，写入到HDFS中。 由于MapReduce的作业日志和任务

查看更多 →

任务日志记录了每个运行在Container中的任务输出的日志信息。默认情况下，任务日志只会存放在各NodeManager的本地磁盘上。打开日志聚合功能后，NodeManager会在作业运行完成后将本地的任务日志进行合并，写入到HDFS中。 由于MapReduce的作业日志和任务

查看更多 →

Collection）而不能为其他Executor提供shuffle数据时，会影响任务运行。 External shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据，减少了Executor的压力，在Executor GC的时候也不会影响其他Executor的任务运行。

查看更多 →

Manager。然后选择“集群 > 待操作的集群名称 > 服务 > Yarn > 配置 > 全部配置”。 搜索并修改“yarn.nodemanager.resource.memory-mb”的值，请根据集群的节点内存实际情况调大该值。 保存配置并重启受影响的服务或实例。 父主题：

查看更多 →

选择“主机”并单击故障主机的“主机名称”，在“实例”列表中单击DataNode，选择“更多 > 退服”。 该主机下若存在DataNode、NodeManager、RegionServer和ClickHouseServer实例，请参考该步骤进行退服操作； MRS 3.1.2版本之后支持退服C

查看更多 →

间已远超过删除时间。 为避免出现这种场景，您可以参考修改集群服务配置参数，进入Yarn“全部配置”页面。在搜索框搜索“yarn.nodemanager.linux-container-executor.cgroups.delete-timeout-ms”配置项来修改删除时间的时长。参数值的单位为毫秒。

查看更多 →

ontainer列表后，会向对应的NodeManager发送信息以启动Container。 ResourceManager分配Container给ApplicationMaster，ApplicationMaster和相关的NodeManager通讯，在获得的Container上

查看更多 →

ontainer列表后，会向对应的NodeManager发送信息以启动Container。 ResourceManager分配Container给ApplicationMaster，ApplicationMaster和相关的NodeManager通讯，在获得的Container上

查看更多 →

生的shuffle临时文件。 因为JD BCS erver启动了Spark的动态资源分配功能，已经将shuffle托管给NodeManager，NodeManager只会按照APP的运行周期来管理这些文件，并不会关注单个executor所在的container是否存在。因此，只有在A

查看更多 →

解决Hive MetaStore黑名单机制在并发场景下会出现空指针的问题。 解决HDFS 3个AZ每个AZ下2个NodeManager实例，缩容一个NodeManager后，此AZ持续报AZ不健康的问题。 解决HDFS多AZ场景NameNode的选副本逻辑问题导致rpc时间变长问题。

查看更多 →

色”列表中单击DataNode，选择“更多 > 退服”。 选择“主机管理”并单击需要退服主机的“主机名称”，在“角色”列表中单击NodeManager，选择“更多 > 退服”。 该主机下若还有其他实例，请参考该步骤方式进行退服。 执行vim /etc/fstab命令编辑注释旧磁盘的挂载点。

查看更多 →

ContainerManagementProtocol 用于ApplicationMaster与NodeManager之间。ApplicationMaster使用该协议要求NodeManager启动/中止Container或者查询Container的运行状态。 表3 Container

查看更多 →

Superior调度器接收到各个NodeManager上报的心跳信息，并将资源信息保存在内存中，使得调度器能够全局掌控集群的资源使用情况。Superior调度器采用了push调度模型，令调度更加精确、高效，大大提高了大集群下的资源使用率。另外，Superior调度器在NodeManager心跳间隔较大

查看更多 →

ranger-yarn-plugin-enable.log Yarn启用Ranger鉴权的日志 yarn-nodemanager-period-check.log Yarn nodemanager的周期检查日志 yarn-resourcemanager-period-check.log Yarn

查看更多 →

长的阈值，导致RM与ZK失联，从而造成RM主备倒换。 在多任务情况下，RM需要保存多个任务的鉴权信息，并通过心跳传递给各个NM（NodeManager），即心跳Response。心跳Response的生命周期短，默认值为1s，一般可以在JVM minor GC时被回收，但在多任务

查看更多 →

使用client模式提交Spark任务的时候，Spark的driver进程是在客户端这边，而后面的executor都需要和Driver进行交互来运行作业。 如果NodeManager连不上客户端所在的节点，就会报错： 处理步骤 在客户端的Spark配置中指定Driver的IP地址： “<客户端安装位置>/Spa

查看更多 →

conversion”参数的值为“more”，在UDF中不能再使用相对路径来操作文件，而要使用绝对路径，并且保证所有的HiveServer节点和NodeManager节点上该文件是存在的且omm用户对该文件有相应的权限，才能正常在UDF中操作本地文件。 父主题： Hive常见问题

查看更多 →