更新时间:2022-12-14 GMT+08:00
降低客户端应用的失败率
配置场景
当网络不稳定或者集群IO、CPU负载过高的情况下,通过调整如下参数值,降低客户端应用的失败率,保证应用的正常运行。
配置描述
在客户端的“mapred-site.xml”配置文件中调整如下参数。
“mapred-site.xml”配置文件在客户端安装路径的conf目录下,例如“/opt/client/Yarn/config”。
参数 |
描述 |
默认值 |
---|---|---|
mapreduce.reduce.shuffle.max-host-failures |
MR任务在reduce过程中读取远端shuffle数据允许失败的次数。当设置次数大于5时,可以降低客户端应用的失败率。 |
5 |
mapreduce.client.submit.file.replication |
MR任务在运行时依赖的相关job文件在HDFS上的备份。当备份数大于10时,可以降低客户端应用的失败率。 |
10 |
父主题: 使用Mapreduce