通过API提交Spark作业后作业状态为error
用户问题
使用API提交Spark作业后,作业状态显示为error。
问题现象
修改“/opt/client/Spark/spark/conf/log4j.properties”中的日志级别,使用API V1.1接口作业提交后,状态显示为error。
原因分析
executor会监控作业日志回显,确定作业执行结果,改为error后,检测不到输出结果,因此过期后判断作业状态为异常。
处理步骤
将“/opt/client/Spark/spark/conf/log4j.properties”中的日志级别修改为info。
建议与总结
建议使用V2接口提交作业接口。