作业执行失败时会发生HDFS_DELEGATION_TOKEN到期的异常
问题
安全模式下,为什么作业执行失败时会发生HDFS_DELEGATION_TOKEN到期的异常?
回答
HDFS_DELEGATION_TOKEN到期的异常是由于token没有更新或者超出了最大生命周期。
在token的最大生命周期内确保下面的参数值大于作业的运行时间。
“dfs.namenode.delegation.token.max-lifetime”=“604800000”(默认是一星期)
参考修改集群服务配置参数,进入HDFS“全部配置”页面,在搜索框搜索该参数。
建议在token的最大生命周期内参数值为多倍小时数。