文档首页/ MapReduce服务 MRS/ 故障排除/ 使用Spark/ 提交Spark任务时提示参数格式错误
更新时间:2023-11-10 GMT+08:00

提交Spark任务时提示参数格式错误

问题现象

用户在使用Spark组件时,提交集群任务运行失败,提示参数格式错误。

原因分析

  • 执行的命令包含了非法字符。
  • 上传的jar包属主属组异常。

处理步骤

  1. 检查用户执行命令./bin/spark-submit --class cn.interf.Test --master yarn-client 客户端安装目录/Spark/spark1-1.0-SNAPSHOT.jar;,排查是否引入了非法字符。
  2. 如果是,修改非法字符,重新执行命令。
  3. 重新执行命令后,发生其他错误,查看该jar包的属主属组信息,发现全为root
  4. 修改jar包的属主属组为omm:wheel,重新执行成功。