更新时间:2024-10-11 GMT+08:00
        
          
          
        
      
      
      
      
      
      
      
      
  
      
      
      
        
使用Spark时报错
用户问题
在使用spark时,集群运行失败。
问题现象
客户在使用spark组件时,集群运行失败。

原因分析
- 执行命令时,引入非法字符
 - 上传的jar包属主属组有问题
 
处理步骤
- 检查用户命令./bin/spark-submit --class cn.interf.Test --master yarn-client /opt/client/Spark/spark1-1.0-SNAPSHOT.jar;,排查是否引入非法字符。
 - 如果是,修改非法字符,重新执行命令。
 - 重新执行命令后,发生其他错误,查看该jar包的属主属组,发现全为root。
 - 修改jar包的属主属组为 omm:wheel,重新执行成功。
 
   父主题: 使用Spark