运行Spark报错

用户问题

运行Spark作业报找不到指定的类。

问题现象

运行Spark作业报找不到指定的类。报错内容如下：

Exception encountered | org.apache.spark.internal.Logging$class.logError(Logging.scala:91)
org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.ClassNotFoundException: org.apache.phoenix.filter.SingleCQKeyValueComparisonFilter

原因分析

用户配置的默认路径不正确。

处理步骤

1. 登录任意Master节点。
2. 修改Spark客户端目录下的配置文件。

   执行vim /opt/client/Spark/spark/conf/spark-defaults.conf命令，打开spark-defaults.conf文件，设置“spark.executor.extraClassPath” 取值为“${PWD}/*”。