更新时间:2024-08-16 GMT+08:00
在缓存中找不到HDFS_DELEGATION_TOKEN如何处理
问题
安全模式下,为什么在缓存中找不到HDFS_DELEGATION_TOKEN?
回答
在MapReduce中,默认情况下,任务完成之后,HDFS_DELEGATION_TOKEN将会被删除。因此如果在下一个任务中再次使用HDFS_DELEGATION_TOKEN,缓存中将会找不到HDFS_DELEGATION_TOKEN。
为了能够在随后的工作中再次使用同一个Token,为MapReduce任务配置参数。当参数为false时,用户能够再次使用同一个Token。
jobConf.setBoolean("mapreduce.job.complete.cancel.delegation.tokens", false);
父主题: MapReduce常见问题