更新时间:2022-02-24 GMT+08:00
引入jar包不正确,导致Spark任务无法运行
用户问题
执行Spark任务,任务无法运行。
问题现象
执行Spark任务,任务无法运行。
原因分析
执行Spark任务时,引入的jar包不正确,导致Spark任务运行失败。
处理步骤
- 登录任意Master节点。
- 执行cd /opt/Bigdata/MRS_*/install/FusionInsight-Spark-*/spark/examples/jars命令, 查看样例程序的jar包。
jar包名最多为1023字符,不能包含;|&>,<'$特殊字符,且不可为空或全空格。
- 检查OBS桶上的执行程序,执行程序可存储于HDFS或者OBS中,不同的文件系统对应的路径存在差异。
- OBS存储路径:以“obs://”开头。示例:obs://wordcount/program/hadoop-mapreduce-examples-2.7.x.jar
- HDFS存储路径:以“/user”开头。Spark Script需要以“.sql”结尾,MR和Spark需要以“.jar”结尾。sql、jar不区分大小写。
父主题: 使用Spark