文档首页/ MapReduce服务 MRS/ 用户指南(吉隆坡区域)/ 故障排除/ 使用Spark/ 引入jar包不正确,导致Spark任务无法运行
更新时间:2022-12-14 GMT+08:00

引入jar包不正确,导致Spark任务无法运行

用户问题

执行Spark任务,任务无法运行。

问题现象

执行Spark任务,任务无法运行。

原因分析

执行Spark任务时,引入的jar包不正确,导致Spark任务运行失败。

处理步骤

  1. 登录任意Master节点。
  2. 执行cd /opt/Bigdata/MRS_*/install/FusionInsight-Spark-*/spark/examples/jars命令, 查看样例程序的jar包。

    jar包名最多为1023字符,不能包含;|&>,<'$特殊字符,且不可为空或全空格。

  3. 检查OBS桶上的执行程序,执行程序可存储于HDFS或者OBS中,不同的文件系统对应的路径存在差异。

    • OBS存储路径:以“obs://”开头。示例:obs://wordcount/program/hadoop-mapreduce-examples-2.7.x.jar
    • HDFS存储路径:以“/user”开头。Spark Script需要以“.sql”结尾,MR和Spark需要以“.jar”结尾。sql、jar不区分大小写。