更新时间：2024-07-24 GMT+08:00
降低MapReduce客户端运行任务失败率
配置场景
当网络不稳定或者集群IO、CPU负载过高的情况下，通过调整如下参数值，降低客户端应用的失败率，保证应用的正常运行。
配置描述
在客户端的“mapred-site.xml”配置文件中调整如下参数。
“mapred-site.xml”配置文件在客户端安装路径的conf目录下，例如“/opt/client/Yarn/config”。
|
参数 |
描述 |
默认值 |
|---|---|---|
|
mapreduce.reduce.shuffle.max-host-failures |
MR任务在reduce过程中读取远端shuffle数据允许失败的次数。当设置次数大于5时，可以降低客户端应用的失败率。该参数适用于MRS 3.x版本。 |
5 |
|
mapreduce.client.submit.file.replication |
MR任务在运行时依赖的相关job文件在HDFS上的备份。当备份数大于10时，可以降低客户端应用的失败率。 |
10 |
父主题： MapReduce性能调优
