更新时间:2022-11-22 GMT+08:00
分享

Spark2x

Spark2x jar包冲突列表

Jar包名称

描述

处理方案

spark-core_2.1.1-*.jar

Spark任务的核心jar包。

Spark可以直接使用开源同版本的spark包运行样例代码,但是不同版本的spark-core包在使用的时候可能互相序列化ID不一样,建议使用集群自带jar包。

jackson-*.jar

执行Spark程序时报错: com.fasterxml.jackson.databind.JsonMappingException: Scala module 2.11.4 requires Jackson Databind version >= 2.11.0 and < 2.12.0

执行程序时引入的jackson相关包与集群自带的包版本不一致,导致报错,建议使用集群自带的jackson相关jar包,集群jar包路径:客户端安装目录/Spark2x/spark/jars。

Spark2x jar包冲突也可以参考常见jar包冲突处理方式

分享:

    相关文档

    相关产品