更新时间:2024-11-29 GMT+08:00
推测执行
操作场景
当集群规模很大时(如几百上千台节点的集群),个别机器出现软硬件故障的概率就变大了,并且会因此延长整个任务的执行时间(跑完的任务都在等出问题的机器跑结束)。推测执行通过将一个task分给多台机器跑,取先运行完的那个,会很好的解决这个问题。对于小集群,可以将这个功能关闭。
操作步骤
参数入口:
进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。
参数 |
描述 |
默认值 |
---|---|---|
mapreduce.map.speculative |
设置是否并行执行某些映射任务的多个实例。true表示开启。 |
false |
mapreduce.reduce.speculative |
设置是否并行执行某些reduce任务的多个实例。true表示开启。 |
false |
父主题: MapReduce性能调优