更新时间:2024-08-01 GMT+08:00
分享

配置MapReduce任务推测执行

操作场景

当集群规模很大时(如几百上千台节点的集群),个别节点出现软硬件故障的概率会增大,并且会因此延长整个任务的执行时间(运行完成的任务会等待异常设备运行完成)。推测执行通过将一个task分给多台机器运行,取首先运行完成的节点。对于小集群,可以将该功能关闭。

操作步骤

参数入口:

进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。

参数

描述

默认值

mapreduce.map.speculative

设置是否并行执行某些映射任务的多个实例。true表示开启。

false

mapreduce.reduce.speculative

设置是否并行执行某些reduce任务的多个实例。true表示开启。

false

相关文档