Spark shuffle异常处理

问题

在部分场景Spark shuffle阶段会有如下异常

解决方法

JDBC应该：

登录FusionInsight Manager管理界面，修改JDBCServer的参数“spark.authenticate.enableSaslEncryption”值为“false”，并重启对应的实例。

客户端作业：

客户端应用在提交应用的时候，修改spark-defaults.conf配置文件的“spark.authenticate.enableSaslEncryption”值为“false”。