文档首页/ MapReduce服务 MRS/ 故障排除/ 使用Spark/ 集群外节点提交Spark作业时报错无法连接Driver
更新时间:2023-11-10 GMT+08:00

集群外节点提交Spark作业时报错无法连接Driver

问题现象

集群外节点和集群各个节点网络已经互通,在集群外节点使用client模式提交Spark任务到Yarn上,任务失败,报错信息为无法连接Driver。

原因分析

使用client模式提交Spark任务的时候,Spark的driver进程是在客户端这边,而后面的executor都需要和Driver进行交互来运行作业。

如果NodeManager连不上客户端所在的节点,就会报错:

处理步骤

在客户端的Spark配置中指定Driver的IP地址:

“<客户端安装位置>/Spark/spark/conf/spark-defaults.conf”中添加参数“spark.driver.host=driverIP”,重新运行Spark任务即可。

建议与总结

建议通过cluster模式提交作业。