文档首页/ MapReduce服务 MRS/ 用户指南(吉隆坡区域)/ MRS集群组件操作指导/ 使用Yarn/ Yarn常见问题/ 开启Native Task特性后,Reduce任务在部分操作系统运行失败
更新时间:2023-03-17 GMT+08:00

开启Native Task特性后,Reduce任务在部分操作系统运行失败

问题

开启Native Task特性后,Reduce任务在部分操作系统运行失败。

回答

运行包含Reduce的Mapreduce任务时,通过-Dmapreduce.job.map.output.collector.class=org.apache.hadoop.mapred.nativetask.NativeMapOutputCollectorDelegator命令开启Native Task特性,任务在部分操作系统运行失败,日志中提示错误“version 'GLIBCXX_3.4.20' not found”。该问题原因是操作系统的GLIBCXX版本较低,导致该特性依赖的libnativetask.so.1.0.0库无法加载,进而导致任务失败。

规避手段

设置配置项mapreduce.job.map.output.collector.class的值为org.apache.hadoop.mapred.MapTask$MapOutputBuffer。