更新时间:2024-08-16 GMT+08:00
配置MapReduce任务推测执行
操作场景
当集群规模很大时(如几百上千台节点的集群),个别节点出现软硬件故障的概率会增大,并且会因此延长整个任务的执行时间(运行完成的任务会等待异常设备运行完成)。推测执行通过将一个task分给多台机器运行,取首先运行完成的节点。对于小集群,可以将该功能关闭。
操作步骤
参数入口:
进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。
参数 |
描述 |
默认值 |
---|---|---|
mapreduce.map.speculative |
设置是否并行执行某些映射任务的多个实例。true表示开启。 |
false |
mapreduce.reduce.speculative |
设置是否并行执行某些reduce任务的多个实例。true表示开启。 |
false |
父主题: MapReduce性能调优