使用External Shuffle Service提升性能

操作场景

Spark系统在运行含shuffle过程的应用时，Executor进程除了运行task，还要负责写shuffle数据以及给其他Executor提供shuffle数据。当Executor进程任务过重，导致触发GC（Garbage Collection）而不能为其他Executor提供shuffle数据时，会影响任务运行。

External shuffle Service是长期存在于NodeManager进程中的一个辅助服务。通过该服务来抓取shuffle数据，减少了Executor的压力，在Executor GC的时候也不会影响其他Executor的任务运行。

操作步骤

1. 登录FusionInsight Manager系统。
2. 选择“集群 > 服务 > Spark > 配置”。单击“全部配置”。
3. 选择“SparkResource > 默认”，修改以下参数：

   表1 参数列表

   参数	默认值	修改结果
   spark.shuffle.service.enabled	false	true

4. 重启Spark服务，配置生效。
   

   如果需要在Spark客户端用External Shuffle Service功能，需要重新下载并安装Spark客户端。