更新时间：2024-08-01 GMT+08:00
MapReduce任务长时间无进展
问题
MapReduce任务长时间无进展。
回答
一般是因为内存太少导致的。当内存较小时，任务中拷贝map输出的时间将显著增加。
为了减少等待时间，您可以适当增加堆内存空间。
任务的配置可根据mapper的数量和各mapper的数据大小来进行优化。根据输入数据的大小，优化“客户端安装路径/Yarn/config/mapred-site.xml”文件中的如下参数：
- “mapreduce.reduce.memory.mb”
- “mapreduce.reduce.java.opts”
例如：如果10个mapper的数据大小为5GB，那么理想的堆内存是1.5GB。随着数据大小的增加而增加堆内存大小。
父主题： MapReduce常见问题
