Spark shuffle异常处理

问题现象

在部分场景Spark shuffle阶段会有如下异常：

处理步骤

• JDBC连接：

  登录FusionInsight Manager管理界面，修改JDBCServer的参数“spark.authenticate.enableSaslEncryption”值为“false”，并重启对应的实例。

• 客户端作业：

  客户端应用在提交应用的时候，修改spark-defaults.conf配置文件的“spark.authenticate.enableSaslEncryption”值为“false”。