更新时间:2024-08-01 GMT+08:00
分享

通过Slow Start调优MapReduce任务

操作场景

Slow Start特性指定Map任务完成度为多少时Reduce任务可以启动,过早启动Reduce任务会导致资源占用,影响任务运行效率,但适当的提早启动Reduce任务会提高Shuffle阶段的资源利用率,提高任务运行效率。例如:某集群可启动10个Map任务,MapReduce作业共15个Map任务,那么在一轮Map任务执行完成后只剩5个Map任务,集群还有剩余资源,在这种场景下,配置Slow Start参数值小于1,比如0.8,则Reduce就可以利用集群剩余资源。

操作步骤

参数入口:

进入Mapreduce服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。

参数

描述

默认值

mapreduce.job.reduce.slowstart.completedmaps

为job安排reduce前应完成的映射数的分数形式。默认100%的Map跑完后开始起Reduce。

1.0

相关文档