然后就可以直接访问这个executor的所有日志。 例如： https://<EIP>:9022/component/Yarn/NodeManager/15/node/containerlogs/container_e04_1627976981617_0002_01_000002/root/stderr

查看更多 →

Manager。然后选择“集群 > 待操作的集群名称 > 服务 > Yarn > 配置 > 全部配置”。 搜索并修改“yarn.nodemanager.resource.memory-mb”的值，请根据集群的节点内存实际情况调大该值。 保存配置并重启受影响的服务或实例。 父主题：

查看更多 →

间已远超过删除时间。 为避免出现这种场景，您可以参考修改集群服务配置参数，进入Yarn“全部配置”页面。在搜索框搜索“yarn.nodemanager.linux-container-executor.cgroups.delete-timeout-ms”配置项来修改删除时间的时长。参数值的单位为毫秒。

查看更多 →

ontainer列表后，会向对应的NodeManager发送信息以启动Container。 ResourceManager分配Container给ApplicationMaster，ApplicationMaster和相关的NodeManager通讯，在获得的Container上

查看更多 →

ontainer列表后，会向对应的NodeManager发送信息以启动Container。 ResourceManager分配Container给ApplicationMaster，ApplicationMaster和相关的NodeManager通讯，在获得的Container上

查看更多 →

ranger-yarn-plugin-enable.log Yarn启用Ranger鉴权的日志。 yarn-nodemanager-period-check.log Yarn nodemanager的周期检查日志。 yarn-resourcemanager-period-check.log Yarn

查看更多 →

生的shuffle临时文件。 因为JD BCS erver启动了Spark的动态资源分配功能，已经将shuffle托管给NodeManager，NodeManager只会按照APP的运行周期来管理这些文件，并不会关注单个executor所在的container是否存在。因此，只有在A

查看更多 →

表中单击DataNode，选择“更多 > 退服”。 选择“主机管理”并单击需要更换磁盘的主机的“主机名称”，在“角色”列表中单击NodeManager，选择“更多 > 退服”。 该主机下若还有其他实例，请参考该步骤方式进行退服。 执行vim /etc/fstab命令编辑注释旧磁盘的挂载点。

查看更多 →

ranger-yarn-plugin-enable.log Yarn启用Ranger鉴权的日志 yarn-nodemanager-period-check.log Yarn nodemanager的周期检查日志 yarn-resourcemanager-period-check.log Yarn

查看更多 →

使用client模式提交Spark任务的时候，Spark的driver进程是在客户端这边，而后面的executor都需要和Driver进行交互来运行作业。 如果NodeManager连不上客户端所在的节点，就会报错： 处理步骤 在客户端的Spark配置中指定Driver的IP地址： “<客户端安装位置>/Spa

查看更多 →

设置为true，表示日志会被收集到HDFS目录中。默认目录为“{yarn.nodemanager.remote-app-log-dir}/${user}/{thisParam}”，该路径可通过界面上的“yarn.nodemanager.remote-app-log-dir-suffix”参数进行配置。

查看更多 →

ontainer列表后，会向对应的NodeManager发送信息以启动Container。 ResourceManager分配Container给ApplicationMaster，ApplicationMaster和相关的NodeManager通讯，在获得的Container上

查看更多 →

的“yarn-site.xml”需要配置所有ResourceManager地址。客户端（包括ApplicationMaster和NodeManager）会以轮询的方式寻找Active状态的ResourceManager，也就是说客户端需要自己提供容错机制。如果当前Active状态

查看更多 →

解决Hive MetaStore黑名单机制在并发场景下会出现空指针的问题。 解决HDFS 3个AZ每个AZ下2个NodeManager实例，缩容一个NodeManager后，此AZ持续报AZ不健康的问题。 解决HDFS多AZ场景NameNode的选副本逻辑问题导致rpc时间变长问题。

查看更多 →

conversion”参数的值为“more”，在UDF中不能再使用相对路径来操作文件，而要使用绝对路径，并且保证所有的HiveServer节点和NodeManager节点上该文件是存在的且omm用户对该文件有相应的权限，才能正常在UDF中操作本地文件。 父主题： Hive常见问题

查看更多 →

conversion”参数的值为“more”，在UDF中不能再使用相对路径来操作文件，而要使用绝对路径，并且保证所有的HiveServer节点和NodeManager节点上该文件是存在的且omm用户对该文件有相应的权限，才能正常在UDF中操作本地文件。 父主题： Hive常见问题

查看更多 →

Collection）而不能为其他Executor提供shuffle数据时，会影响任务运行。 External shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据，减少了Executor的压力，在Executor GC的时候也不会影响其他Executor的任务运行。

查看更多 →

reserved.percentage参数：每个磁盘的保留空间所占磁盘百分比。DataNode会保留这么多可用空间，以备其他组件如Yarn的NodeManager运行计算时，或者预留升级时使用。 因为预留了10%的磁盘，当磁盘使用率达到90%的时候，HDFS的DataNode即会认为没有可用磁盘空间。

查看更多 →

Spark运行的时候会将临时产生的shuffle文件放在executor的临时目录中，方便后面获取。 而当某个executor异常退出时，NodeManager会把这个executor所在的container临时目录删除，随后其他executor再来申请这个executor的shuffle结果就会报文件找不到。

查看更多 →

Collection）而不能为其他Executor提供shuffle数据时，会影响任务运行。 External shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据，减少了Executor的压力，在Executor GC的时候也不会影响其他Executor的任务运行。

查看更多 →

ContainerManagementProtocol 用于ApplicationMaster与NodeManager之间。ApplicationMaster使用该协议要求NodeManager启动/中止Container或者查询Container的运行状态。 表3 Container

查看更多 →