-
手动指定运行Yarn任务的用户
![]()
参数描述 参数 描述 默认值 yarn.nodemanager.linux-container-executor.user 运行任务的用户。 默认为空。 说明： 默认为空，实际以提交任务的用户来运行任务。 yarn.nodemanager.container-executor.class
来自：帮助中心 -
手动指定运行Yarn任务的用户
![]()
参数描述 参数 描述 默认值 yarn.nodemanager.linux-container-executor.user 运行任务的用户。 默认为空。 说明： 默认为空，实际以提交任务的用户来运行任务。 yarn.nodemanager.container-executor.class
来自：帮助中心 -
Password cannot be null if SASL is enabled异常
![]()
造成该现象的原因是NodeManager重启。使用ExternalShuffle的时候，Spark将借用NodeManager传输Shuffle数据，因此NodeManager的内存将成为瓶颈。 在当前版本的 FusionInsight 中，NodeManager的默认内存只有1G，
来自：帮助中心 -
重启YARN，本地日志不被删除
![]()
1/hadoop-yarn/hadoop-yarn-site/NodeManager.html#NodeManager_Restart 可以参考修改集群服务配置参数，进入Yarn“全部配置”页面。需将NodeManager的“yarn.nodemanager.recovery.enabled”配置项
来自：帮助中心 -
Password cannot be null if SASL is enabled异常
![]()
造成该现象的原因是NodeManager重启。使用ExternalShuffle的时候，Spark将借用NodeManager传输Shuffle数据，因此NodeManager的内存将成为瓶颈。 在当前版本的FusionInsight中，NodeManager的默认内存只有1G，
来自：帮助中心 -
配置ResourceManager重启后自动加载Container信息
![]()
速度，取值范围大于0。 20 NodeManager Restart特性配置如下。 表2 NodeManager Restart参数配置 参数 描述 默认值 yarn.nodemanager.recovery.enabled 当Nodemanager重启时是否启用日志失败收集功能
来自：帮助中心 -
配置ResourceManager重启后自动加载Container信息
-
使用External Shuffle Service提升性能
![]()
描述 yarn.nodemanager.aux-services NodeManager中一个长期运行的辅助服务，用于提升Shuffle计算性能。 yarn.nodemanager.aux-services.spark_shuffle.class NodeManager中辅助服务对应的类。
来自：帮助中心 -
重启YARN，本地日志不被删除
![]()
不被删除。 回答 NodeManager有重启恢复机制，详情请参见： https://hadoop.apache.org/docs/r3.1.1/hadoop-yarn/hadoop-yarn-site/NodeManager.html#NodeManager_Restart 可
来自：帮助中心 -
缩容Task节点失败
![]()
instances of NodeManager will be less than the minimum configuration after scale-in, which may cause data loss. 原因分析 用户将Core节点的NodeManager服务停止了，导致
来自：帮助中心 -
由于Timeout waiting for task异常导致Shuffle FetchFailed
![]()
rvice功能，Reduce阶段所有的Executor会从NodeManager中获取数据，当数据量达到一个级别（10T级别），会出现NodeManager单点瓶颈（ShuffleService服务在NodeManager进程中），就会出现某些Task获取数据超时，从而出现该问题。
来自：帮助中心 -
【Yarn WebUI】无法访问Yarn WebUI
![]()
ResourceManager > 系统”。将“GC_OPTS”参数根据实际情况调大。 集群中的NodeManager实例数量和ResourceManager内存大小的对应关系参考如下： 集群中的NodeManager实例数量达到100，ResourceManager实例的JVM参数建议配置为：-Xms4G
来自：帮助中心 -
ALM-18016 ResourceManager非堆内存使用率超过阈值
![]()
告警。 重启备ResourceManager实例，服务业务不受影响。 集群中的NodeManager实例数量和ResourceManager内存大小的对应关系参考如下： 集群中的NodeManager实例数量达到100，ResourceManager实例的JVM参数建议配置为：-Xms4G
来自：帮助中心 -
连接postgresql或者gaussdb时报错
![]()
解决方案： 报错中type为5时：在每台MRS NodeManager实例所在节点上移动驱动包gsjdbc4-*.jar到tmp目录下。 mv /opt/Bigdata/FusionInsight_HD_*/1_*_NodeManager/install/hadoop/share/h
来自：帮助中心 -
启用Yarn CGroups功能限制Container CPU使用率
![]()
-yarn-site/NodeManagerCgroups.html MRS 3.2.0及之后版本：https://hadoop.apache.org/docs/r3.3.1/hadoop-yarn/hadoop-yarn-site/NodeManagerCgroups.html
来自：帮助中心 -
启用Yarn CGroups功能限制Container CPU使用率
![]()
-yarn-site/NodeManagerCgroups.html MRS 3.2.0及之后版本：https://hadoop.apache.org/docs/r3.3.1/hadoop-yarn/hadoop-yarn-site/NodeManagerCgroups.html
来自：帮助中心 -
ALM-18010 ResourceManager进程垃圾回收（GC）时间超过阈值
![]()
ResourceManager > 系统”。将“GC_OPTS”参数根据实际情况调大。 集群中的NodeManager实例数量和ResourceManager内存大小的对应关系参考如下： 集群中的NodeManager实例数量达到100，ResourceManager实例的JVM参数建议配置为：-Xms4G
来自：帮助中心 -
由于Timeout waiting for task异常导致Shuffle FetchFailed
![]()
rvice功能，Reduce阶段所有的Executor会从NodeManager中获取数据，当数据量达到一个级别（10T级别），会出现NodeManager单点瓶颈（ShuffleService服务在NodeManager进程中），就会出现某些Task获取数据超时，从而出现该问题。
来自：帮助中心 -
ALM-18008 ResourceManager堆内存使用率超过阈值
![]()
告警。 重启备ResourceManager实例，服务业务不受影响。 集群中的NodeManager实例数量和ResourceManager内存大小的对应关系参考如下： 集群中的NodeManager实例数量达到100，ResourceManager实例的JVM参数建议配置为：-Xms4G
来自：帮助中心 -
配置Container日志聚合功能
![]()
yarn.nodemanager.remote-app-log-dir}/${user}/{yarn.nodemanager.remote-app-log-dir-suffix}”。 说明： {user}为运行任务时的用户名。 logs yarn.nodemanager.log-aggregator
来自：帮助中心 -
配置Yarn本地化日志级别
![]()
配置“yarn.nodemanager.container-localizer.java.opts”来改变日志级别。 配置描述 在Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > Yarn > 配置”，选择“全部配置”，在NodeManager的配置文件“yarn-site
来自：帮助中心
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
