为什么Spark3.x的作业日志中打印找不到global_temp数据库
问题描述
Spark3.x的作业日志中提示找不到global_temp数据库。
根因分析
global_temp数据库是Spark3.x默认内置的数据库,是Spark的全局临时视图。
通常在Spark作业执行注册viewManager时,会校验该数据库在metastore是否存在,如果该数据库存在则会导致Spark作业执行失败。
因此当Spark3.x的作业日志中如果出现一条访问catalog查询该数据库,并提示数据库不存在是为了确保Spark作业正常运行,无需执行其他操作。