文档首页/ 数据湖探索 DLI/ 常见问题/ Spark作业相类/ Spark作业运维类/ 为什么Spark3.x的作业日志中打印找不到global_temp数据库
更新时间:2024-11-06 GMT+08:00
分享

为什么Spark3.x的作业日志中打印找不到global_temp数据库

问题描述

Spark3.x的作业日志中提示找不到global_temp数据库。

根因分析

global_temp数据库是Spark3.x默认内置的数据库,是Spark的全局临时视图。

通常在Spark作业执行注册viewManager时,会校验该数据库在metastore是否存在,如果该数据库存在则会导致Spark作业执行失败。

因此当Spark3.x的作业日志中如果出现一条访问catalog查询该数据库,并提示数据库不存在是为了确保Spark作业正常运行,无需执行其他操作。

相关文档