JDBCServer节点磁盘空间不足导致实例异常

问题现象

JDBCServer启动的Yarn任务长时间运行后将部分节点的磁盘打满，磁盘空间不足，导致节点上的JDBCServer实例异常。

处理步骤

• MRS 3.1.2-LTS之前版本：

  登录FusionInsight Manager界面，选择“集群 > 服务 > Spark >实例”，重启对应JDBCServer实例即可清理磁盘。

• MRS 3.1.2-LTS及之后版本：

  登录FusionInsight Manager界面，选择“集群 > 服务 > Spark > 配置 > 全部配置 > JDBCServer（角色） > 自定义”，在“custom”中添加参数“spark.shuffle.service.removeShuffle”值为“true”，保存配置，并重启对应的实例。

  图1 添加参数
  

  表1 参数解释

  参数	描述	取值示例
  spark.shuffle.service.removeShuffle	是否在不再需要shuffle时使用ExternalShuffleService来删除已释放executors的shuffle块。若不启用此选项，已释放executors上的shuffle数据将保留在磁盘上，直到应用程序结束。默认为false，表示不启用该功能。	true