文档首页/ MapReduce服务 MRS/ 故障排除/ 使用Spark/ 通过API提交Spark作业后作业状态为error
更新时间:2023-11-10 GMT+08:00

通过API提交Spark作业后作业状态为error

用户问题

使用API提交Spark作业后,作业状态显示为error。

问题现象

修改“/opt/client/Spark/spark/conf/log4j.properties”中的日志级别,使用API V1.1接口作业提交后,状态显示为error。

原因分析

executor会监控作业日志回显,确定作业执行结果,改为error后,检测不到输出结果,因此过期后判断作业状态为异常。

处理步骤

将“/opt/client/Spark/spark/conf/log4j.properties”中的日志级别修改为info

建议与总结

建议使用V2接口提交作业接口。