更新时间:2024-05-11 GMT+08:00

降低客户端应用的失败率

配置场景

当网络不稳定或者集群IO、CPU负载过高的情况下,通过调整如下参数值,降低客户端应用的失败率,保证应用的正常运行。

配置描述

在客户端的“mapred-site.xml”配置文件中调整如下参数。

“mapred-site.xml”配置文件在客户端安装路径的conf目录下,例如“/opt/client/Yarn/config”。

表1 参数说明

参数

描述

默认值

mapreduce.reduce.shuffle.max-host-failures

MR任务在reduce过程中读取远端shuffle数据允许失败的次数。当设置次数大于5时,可以降低客户端应用的失败率。该参数适用于MRS 3.x版本。

5

mapreduce.client.submit.file.replication

MR任务在运行时依赖的相关job文件在HDFS上的备份。当备份数大于10时,可以降低客户端应用的失败率。

10