文档首页> MapReduce服务 MRS> 组件操作指南(普通版)> 使用Yarn> Yarn常见问题> 开启Native Task特性后,Reduce任务在部分操作系统运行失败
更新时间:2022-05-19 GMT+08:00
分享

开启Native Task特性后,Reduce任务在部分操作系统运行失败

问题

开启Native Task特性后,Reduce任务在部分操作系统运行失败。

回答

运行包含Reduce的Mapreduce任务时,通过-Dmapreduce.job.map.output.collector.class=org.apache.hadoop.mapred.nativetask.NativeMapOutputCollectorDelegator命令开启Native Task特性,任务在部分操作系统运行失败,日志中提示错误“version 'GLIBCXX_3.4.20' not found”。该问题原因是操作系统的GLIBCXX版本较低,导致该特性依赖的libnativetask.so.1.0.0库无法加载,进而导致任务失败。

规避手段

设置配置项mapreduce.job.map.output.collector.class的值为org.apache.hadoop.mapred.MapTask$MapOutputBuffer。

分享:

    相关文档

    相关产品

close