更新时间:2024-12-25 GMT+08:00
分享

Delta常见配置参数

提交DLI Spark SQL作业时,在“SQL编辑器”界面右上角的“设置 > 参数设置”中配置Delta参数。

表1 Delta常见配置项

参数

描述

默认值

spark.databricks.delta.retentionDurationCheck.enabled

vacuum清理不再引用的文件时是否进行保留期检查。

true

spark.databricks.delta.properties.defaults.deletedFileRetentionDuration或delta.deletedFileRetentionDuration

Delta不再引用的文件的保留期。当spark.databricks.delta.retentionDurationCheck.enabled为true时,清空未超过保留期的文件将会抛出异常。

168小时(1周)

spark.databricks.delta.properties.defaults.logRetentionDuration或delta.logRetentionDuration

Delta log文件过期时间。每当Delta log进行checkpoint动作时,会检查是否有需要删除的过期文件,如果有,则删除这些过期文件以防Delta log文件无限增长。

30天

相关文档