Driver所在节点“/tmp”目录下残留大量大文件

问题

在执行某些PySpark任务后，Driver节点的“/tmp”目录下会残留大量大文件，占用过多的磁盘存储空间。残留目录样例如下：

/tmp/prophet_modelf28943ij
/tmp/4xgpw7sc.json
/tmp/9zsivwu3.json

回答

在提交PySpark任务时，如果代码中导入了prophet或fbprophet库（其他第三方库也可能导致类似问题，需要业务提前识别），并在进行模型训练或预测时，这些库会在工作目录（默认情况下是系统的临时目录，通常是“/tmp”目录）创建临时目录和文件。这些临时文件在任务结束后如果没有被及时清理，会占用大量磁盘空间。

解决方案

1. 结束异常任务，释放占用的资源。
2. 在业务代码中通过提前指定环境变量，将这些第三方库的缓存数据存储到其他目录，而不是默认的“/tmp”目录。

   例如，可以设置 PROPHET_CACHE_DIR 环境变量：

   import os
   os.environ['PROPHET_CACHE_DIR'] = '/path/to/alternative/cache/directory'

   这样可以将缓存文件存储到指定的目录，避免占用“/tmp”目录的磁盘空间。