更新时间：2024-11-01 GMT+08:00
Spark Streaming任务失败但是Yarn WebUI中显示状态为成功
问题现象
MRS 3.3.0-LTS版本集群，提交Spark Streaming任务后，由于NodeAgent重启导致对应节点上任务失败，但是在Yarn WebUI页面中查看整个任务状态为“succeeded”。
原因分析
Spark AM退出时，因为服务配置参数“spark.streaming.stopGracefullyOnShutdown”默认为“false”，系统不会完全等待AM正常退出，所以概率性的会出现有时能正常退出，任务状态显示失败，有时异常退出，状态未来得及上报的情况。
处理步骤
执行Spark Streaming任务时，添加Spark任务参数“--conf spark.streaming.stopGracefullyOnShutdown=true”，指定“spark.streaming.stopGracefullyOnShutdown”参数为“true”。
父主题： 使用Spark
