更新时间：2024-05-27 GMT+08:00
Spark
Spark jar包冲突列表
Jar包名称 |
描述 |
处理方案 |
|---|---|---|
spark-core_2.1.1-*.jar |
Spark任务的核心jar包。 |
Spark可以直接使用开源同版本的Spark包运行样例代码，但是不同版本的spark-core包在使用的时候可能导致互相序列化ID不一样，因此建议使用集群自带jar包。 |
jackson-*.jar |
执行Spark程序时会报错： com.fasterxml.jackson.databind.JsonMappingException: Scala module 2.11.4 requires Jackson Databind version >= 2.11.0 and < 2.12.0 |
执行程序时引入的jackson相关包与集群自带的包版本不一致，导致报错，建议使用集群自带的jackson相关jar包。 集群jar包路径：“客户端安装目录/Spark2x/spark/jars”或者“客户端安装目录/Spark/spark/jars”。 |
父主题： MRS应用开发开源jar包冲突列表说明
