使用Tez引擎执行Hive SQL任务报错Client cannot authenticate via:[TOKEN, KERBEROS]
问题
- MRS 3.6.0-LTS及之后版本,使用Tez引擎执行Hive SQL任务时,对于某些查询会执行失败,报错的异常信息中包含以下内容:
图1 Hive SQL任务执行报错
- 登录运行任务的HiveServer节点,查看“/var/log/Bigdata/hive/hiveserver/hive.log”日志文件,该文件中打印了“Send dag plan using YARN local resources since it's too large, dag plan size=xxx, max dag plan size through IPC=xxx, max IPC message size=xxx”信息,如图2所示。
回答
可以调大“ipc.maximum.data.length”参数的值,默认值为“134217728”(128MB),调整后的值需大于日志信息“dag plan size=xxx”中xxx的值。例如,打印的日志信息为“dag plan size=143378045”,则可调大“ipc.maximum.data.length”参数值为“268435456”(256MB)。
可使用以下两种方式配置“ipc.maximum.data.length”参数的值:
