配置WebUI上显示的Lost Executor信息的个数
配置场景
Spark WebUI中“Executor”页面支持展示Lost Executor的信息,对于JDBCServer长任务来说,Executor的动态回收是常态,Lost Executor个数太多,会撑爆“Executor”页面,因此需要控制页面显示的Lost Executor个数。
配置描述
在Spark客户端的“spark-defaults.conf”配置文件中进行设置。
参数 |
说明 |
默认值 |
---|---|---|
spark.ui.retainedDeadExecutors |
Spark UI页面显示的Lost Executor的最大个数。 |
100 |