通过Slow Start调优MapReduce任务
操作场景
Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动,过早启动Reduce任务会导致资源占用,影响任务运行效率,但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率,提高任务运行效率。例如:某集群可启动10个Map任务,MapReduce作业共15个Map任务,那么在一轮Map任务执行完成后只剩5个Map任务,集群还有剩余资源,在这种场景下,配置Slow Start参数值小于1,比如0.8,则Reduce就可以利用集群剩余资源。
操作步骤
参数入口:
进入Mapreduce服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。
参数 |
描述 |
默认值 |
---|---|---|
mapreduce.job.reduce.slowstart.completedmaps |
为job安排reduce前应完成的映射数的分数形式。默认100%的Map跑完后开始起Reduce。 |
1.0 |