文档首页> MapReduce服务 MRS> 故障排除> 使用Spark> SparkSQL读取ORC表报错
更新时间:2023-11-10 GMT+08:00
分享

SparkSQL读取ORC表报错

问题现象

Hive创建ORC存储格式的表,用SparkSQL读取该表时报错:

原因分析

该问题为一个开源社区问题:https://issues.apache.org/jira/browse/HIVE-11102,使用开源的hive 1.2.1版本包就有可能触发此问题。

MRS的Hive for Spark相关模块已修复该问题。

处理步骤

使用MRS集群自带的Hive for Spark包:

hive-beeline-1.2.1.spark_2.2.1-mrs-x.x.x.jar
hive-cli-1.2.1.spark_2.2.1-mrs-x.x.x.jar
hive-common-1.2.1.spark_2.2.1-mrs-x.x.x.jar
hive-exec-1.2.1.spark_2.2.1-mrs-x.x.x.jar
hive-jdbc-1.2.1.spark_2.2.1-mrs-x.x.x.jar
hive-metastore-1.2.1.spark_2.2.1-mrs-x.x.x.jar

华为云Maven库请参考指导通过开源镜像站获取样例工程

分享:

    相关文档

    相关产品