Spark shuffle异常处理
问题
在部分场景Spark shuffle阶段会有如下异常
解决方法
JDBC应该:
登录FusionInsight Manager管理界面,修改JDBCServer的参数“spark.authenticate.enableSaslEncryption”值为“false”,并重启对应的实例。
客户端作业:
客户端应用在提交应用的时候,修改spark-defaults.conf配置文件的“spark.authenticate.enableSaslEncryption”值为“false”。