更新时间:2024-05-11 GMT+08:00

Spark shuffle异常处理

问题

在部分场景Spark shuffle阶段会有如下异常

解决方法

JDBC应该:

登录FusionInsight Manager管理界面,修改JDBCServer的参数“spark.authenticate.enableSaslEncryption”值为“false”,并重启对应的实例。

客户端作业:

客户端应用在提交应用的时候,修改spark-defaults.conf配置文件的“spark.authenticate.enableSaslEncryption”值为“false”。