文档首页/ MapReduce服务 MRS/ 故障排除/ 使用Spark/ 提交Spark任务时报错“ClassNotFoundException”
更新时间:2023-11-10 GMT+08:00

提交Spark任务时报错“ClassNotFoundException”

问题现象

运行Spark任务报找不到指定的类“ClassNotFoundException”。

详细报错内容如下:

Exception encountered | org.apache.spark.internal.Logging$class.logError(Logging.scala:91)
org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.ClassNotFoundException: org.apache.phoenix.filter.SingleCQKeyValueComparisonFilter

原因分析

用户配置的默认路径不正确。

处理步骤

  1. 登录任意Master节点。
  2. 修改Spark客户端目录下的配置文件。

    执行vim 客户端安装目录/Spark/spark/conf/spark-defaults.conf命令,打开spark-defaults.conf文件,设置“spark.executor.extraClassPath” 取值为“${PWD}/*”

  3. 重新尝试提交任务。