推理层日志定期清理
随着推理服务的持续运行,节点中会不断生成大量日志文件,主要保存的有进程、NPU CANN plog、ray等日志。若不及时清理,这些日志将长期占用磁盘空间,可能导致磁盘满载,进而影响服务性能甚至导致进程崩溃。为保障系统的稳定运行与磁盘资源的合理利用,需要配置定期清理老化日志的机制。
定期清理老化日志配置如下:
- 从部署依赖版本包中获取日志清理脚本,该脚本会清理更新时间大于7天的日志文件。
clean_ascend_plogs.py # 清理plog生成的日志 clean_ray_logs.py # 清理ray生成的日志 clean_vllm_logs.py # 清理vllm生成的日志
- 确认脚本中对应的参数,按需配置。
LOG_PATH = "/var/log/ascend_plog" # 定期清理的日志路径 RETENTION_DAYS = 7 # 清理7天以上的日志文件 LOG_FILE = "/var/log/ascend-plog-cleaner.log" # 清理任务保存的日志
- 编辑crontab定时任务。
crontab -e
- 添加每小时执行定时任务的表达式,脚本路径默认为/mnt/deepseek/deploy。
0 * * * * /usr/bin/python3 /mnt/deepseek/deploy/clean_ascend_plogs.py 0 * * * * /usr/bin/python3 /mnt/deepseek/deploy/clean_ray_logs.py 0 * * * * /usr/bin/python3 /mnt/deepseek/deploy/clean_vllm_logs.py
- 验证crontab添加成功,能够看到添加的定时任务。
crontab -l