SparkSQL读取ORC表报错
问题现象
Hive创建ORC存储格式的表,用SparkSQL读取该表时报错:
原因分析
该问题为一个开源社区问题:https://issues.apache.org/jira/browse/HIVE-11102,使用开源的hive 1.2.1版本包就有可能触发此问题。
MRS的Hive for Spark相关模块已修复该问题。
处理步骤
使用MRS集群自带的Hive for Spark包:
hive-beeline-1.2.1.spark_2.2.1-mrs-x.x.x.jar hive-cli-1.2.1.spark_2.2.1-mrs-x.x.x.jar hive-common-1.2.1.spark_2.2.1-mrs-x.x.x.jar hive-exec-1.2.1.spark_2.2.1-mrs-x.x.x.jar hive-jdbc-1.2.1.spark_2.2.1-mrs-x.x.x.jar hive-metastore-1.2.1.spark_2.2.1-mrs-x.x.x.jar
华为云Maven库请参考指导通过开源镜像站获取样例工程。