更新时间:2024-11-29 GMT+08:00

推测执行

操作场景

当集群规模很大时(如几百上千台节点的集群),个别机器出现软硬件故障的概率就变大了,并且会因此延长整个任务的执行时间(跑完的任务都在等出问题的机器跑结束)。推测执行通过将一个task分给多台机器跑,取先运行完的那个,会很好的解决这个问题。对于小集群,可以将这个功能关闭。

操作步骤

参数入口:

进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。

参数

描述

默认值

mapreduce.map.speculative

设置是否并行执行某些映射任务的多个实例。true表示开启。

false

mapreduce.reduce.speculative

设置是否并行执行某些reduce任务的多个实例。true表示开启。

false