更新时间:2023-11-09 GMT+08:00
提交Spark任务时提示参数格式错误
问题现象
用户在使用Spark组件时,提交集群任务运行失败,提示参数格式错误。
原因分析
- 执行的命令包含了非法字符。
- 上传的jar包属主属组异常。
处理步骤
- 检查用户执行命令./bin/spark-submit --class cn.interf.Test --master yarn-client 客户端安装目录/Spark/spark1-1.0-SNAPSHOT.jar;,排查是否引入了非法字符。
- 如果是,修改非法字符,重新执行命令。
- 重新执行命令后,发生其他错误,查看该jar包的属主属组信息,发现全为root。
- 修改jar包的属主属组为omm:wheel,重新执行成功。
父主题: 使用Spark