作业执行失败时会发生HDFS_DELEGATION_TOKEN到期的异常

问题

安全模式下，为什么作业执行失败时会发生HDFS_DELEGATION_TOKEN到期的异常？

回答

HDFS_DELEGATION_TOKEN到期的异常是由于token没有更新或者超出了最大生命周期。

可以参考以下步骤修改token的最大存活期，并确保token的最大存活期大于作业的运行时间。

1. 登录FusionInsight Manager。

   登录集群Manager具体操作，请参考访问MRS集群Manager。

2. 选择“集群 > 服务 > HDFS > 配置 > 全部配置”。
3. 搜索“dfs.namenode.delegation.token.max-lifetime”参数名称，并根据需要修改参数值。

   该参数表示token的最大存活期。建议将该参数设置为作业运行时间的多倍小时数。

   • 单位：毫秒。
   • 默认值“604800000”表示一星期。
   • 取值范围：10000~10000000000000

4. 保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。