更新时间:2022-02-24 GMT+08:00

Spark作业api提交状态为error

用户问题

使用API提交spark作业后,作业状态显示为error。

问题类型

作业管理类。

问题现象

修改/opt/client/Spark/spark/conf/log4j.properties中的日志级别,使用API V1.1接口作业提交后,状态显示为error。

原因分析

executor会监控作业日志回显,确定作业执行结果,改为error后,检测不到输出结果,因此过期后判断作业状态为异常。

处理步骤

将/opt/client/Spark/spark/conf/log4j.properties中的日志级别修改为info

建议与总结

建议客户使用V2接口提交作业接口。