更新时间:2024-10-11 GMT+08:00
Spark作业api提交状态为error
用户问题
使用API提交spark作业后,作业状态显示为error。
问题类型
作业管理类。
问题现象
修改/opt/client/Spark/spark/conf/log4j.properties中的日志级别,使用API V1.1接口作业提交后,状态显示为error。
原因分析
executor会监控作业日志回显,确定作业执行结果,改为error后,检测不到输出结果,因此过期后判断作业状态为异常。
处理步骤
将/opt/client/Spark/spark/conf/log4j.properties中的日志级别修改为info。
建议与总结
建议客户使用V2接口提交作业接口。
父主题: 使用Spark