更新时间:2024-11-29 GMT+08:00
        
          
          
        
      
      
      
      
      
      
      
      
  
      
      
      
        
推测执行
操作场景
当集群规模很大时(如几百上千台节点的集群),个别机器出现软硬件故障的概率就变大了,并且会因此延长整个任务的执行时间(跑完的任务都在等出问题的机器跑结束)。推测执行通过将一个task分给多台机器跑,取先运行完的那个,会很好的解决这个问题。对于小集群,可以将这个功能关闭。
操作步骤
参数入口:
进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。
| 
        参数  | 
      
        描述  | 
      
        默认值  | 
     
|---|---|---|
| 
        mapreduce.map.speculative  | 
      
        设置是否并行执行某些映射任务的多个实例。true表示开启。  | 
      
        false  | 
     
| 
        mapreduce.reduce.speculative  | 
      
        设置是否并行执行某些reduce任务的多个实例。true表示开启。  | 
      
        false  | 
     
   父主题: MapReduce性能调优