配置WebUI上显示的Lost Executor信息的个数

操作场景

Spark WebUI中“Executor”页面支持展示Lost Executor的信息，对于JDBCServer长任务来说，Executor的动态回收是常态，Lost Executor个数太多，会撑爆“Executor”页面，因此需要控制页面显示的Lost Executor个数。

配置描述

1. 安装Spark客户端。

   详细操作请参考安装MRS客户端。

2. 使用客户端安装用户登录Spark客户端节点。

   在Spark客户端的“{客户端安装目录}/Spark/spark/conf/spark-defaults.conf”配置文件中进行设置，修改如下参数：

   表1 参数说明

   参数	说明	取值示例
   spark.ui.retainedDeadExecutors	Spark UI页面显示的Lost Executor的最大个数。 当Executor因完成任务、资源释放或异常退出时，Spark UI会保留这些Executor的信息以供监控和分析，而该参数决定了最多保留多少个历史Executor记录。	100