更新时间:2024-06-28 GMT+08:00
分享

在缓存中找不到HDFS_DELEGATION_TOKEN如何处理

问题

安全模式下,为什么在缓存中找不到HDFS_DELEGATION_TOKEN?

回答

在MapReduce中,默认情况下,任务完成之后,HDFS_DELEGATION_TOKEN将会被删除。因此如果在下一个任务中再次使用HDFS_DELEGATION_TOKEN,缓存中将会找不到HDFS_DELEGATION_TOKEN。

为了能够在随后的工作中再次使用同一个Token,为MapReduce任务配置参数。当参数为false时,用户能够再次使用同一个Token。

jobConf.setBoolean("mapreduce.job.complete.cancel.delegation.tokens", false);

相关文档