更新时间:2023-03-17 GMT+08:00

配置WebUI上显示的Lost Executor信息的个数

配置场景

Spark WebUI中“Executor”页面支持展示Lost Executor的信息,对于JDBCServer长任务来说,Executor的动态回收是常态,Lost Executor个数太多,会撑爆“Executor”页面,因此需要控制页面显示的Lost Executor个数。

配置描述

在Spark客户端的“spark-defaults.conf”配置文件中进行设置。

表1 参数说明

参数

说明

默认值

spark.ui.retainedDeadExecutors

Spark UI页面显示的Lost Executor的最大个数。

100