作业执行失败时会发生HDFS_DELEGATION_TOKEN到期的异常

问题

安全模式下，为什么作业执行失败时会发生HDFS_DELEGATION_TOKEN到期的异常？

回答

HDFS_DELEGATION_TOKEN到期的异常是由于token没有更新或者超出了最大生命周期。

在token的最大生命周期内确保下面的参数值大于作业的运行时间。

“dfs.namenode.delegation.token.max-lifetime”=“604800000”（默认是一星期）

参考修改集群服务配置参数，进入HDFS“全部配置”页面，在搜索框搜索该参数。

建议在token的最大生命周期内参数值为多倍小时数。