更新时间:2023-04-27 GMT+08:00
分享

配置Executor退出时执行自定义代码

本章节仅适用于MRS 3.2.0及之后版本。

配置场景

通过配置如下参数可以实现Executor退出时执行自定义代码。

配置参数

在Spark客户端的“spark-defaults.conf”配置文件中进行设置。

参数

说明

默认值

spark.executor.execute.shutdown.cleaner

配置为true后,支持executor退出时执行自定义代码。

false

spark.executor.execute.shutdown.cleaner.max.timeout

executor执行自定义代码的超时时间。

240s

分享:

    相关文档

    相关产品