更新时间:2023-11-09 GMT+08:00
提交Spark任务时报错“ClassNotFoundException”
问题现象
运行Spark任务报找不到指定的类“ClassNotFoundException”。
详细报错内容如下:
Exception encountered | org.apache.spark.internal.Logging$class.logError(Logging.scala:91) org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.ClassNotFoundException: org.apache.phoenix.filter.SingleCQKeyValueComparisonFilter
原因分析
用户配置的默认路径不正确。
处理步骤
- 登录任意Master节点。
- 修改Spark客户端目录下的配置文件。
执行vim 客户端安装目录/Spark/spark/conf/spark-defaults.conf命令,打开spark-defaults.conf文件,设置“spark.executor.extraClassPath” 取值为“${PWD}/*”。
- 重新尝试提交任务。
父主题: 使用Spark