配置WebUI上显示的Lost Executor信息的个数
配置场景
Spark WebUI中“Executor”页面支持展示Lost Executor的信息,对于JDBCServer长任务来说,Executor的动态回收是常态,Lost Executor个数太多,会撑爆“Executor”页面,因此需要控制页面显示的Lost Executor个数。
配置描述
在Spark客户端的“spark-defaults.conf”配置文件中进行设置。
| 
        参数  | 
      
        说明  | 
      
        默认值  | 
     
|---|---|---|
| 
        spark.ui.retainedDeadExecutors  | 
      
        Spark UI页面显示的Lost Executor的最大个数。  | 
      
        100  |