文档首页> MapReduce服务 MRS> 故障排除> 使用Spark> 引入jar包不正确导致Spark任务无法运行
更新时间:2023-11-09 GMT+08:00
分享

引入jar包不正确导致Spark任务无法运行

问题现象

执行Spark任务,任务无法运行。

原因分析

执行Spark任务时,引入的jar包不正确,导致Spark任务运行失败。

处理步骤

  1. 登录任意Master节点。
  2. 执行cd /opt/Bigdata/MRS_*/install/FusionInsight-Spark-*/spark/examples/jars命令, 查看样例程序的jar包。

    jar包名最多为1023字符,不能包含;|&>,<'$特殊字符,且不可为空或全空格。

  3. 执行程序可存储于HDFS或者OBS中,不同的文件系统对应的路径存在差异。

    • OBS存储路径:以“obs://”开头。示例:obs://wordcount/program/hadoop-mapreduce-examples-2.7.x.jar
    • HDFS存储路径:以“/user”开头。Spark Script需要以“.sql”结尾,MapReduce和Spark需要以“.jar”结尾。sql、jar不区分大小写。

分享:

    相关文档

    相关产品