更新时间:2025-01-09 GMT+08:00
Delta常见配置参数
提交DLI Spark SQL作业时,在“SQL编辑器”界面右上角的“设置 > 参数设置”中配置Delta参数。
参数 | 描述 | 默认值 |
|---|---|---|
spark.databricks.delta.retentionDurationCheck.enabled | vacuum清理不再引用的文件时是否进行保留期检查。 | true |
spark.databricks.delta.properties.defaults.deletedFileRetentionDuration或delta.deletedFileRetentionDuration | Delta不再引用的文件的保留期。当spark.databricks.delta.retentionDurationCheck.enabled为true时,清空未超过保留期的文件将会抛出异常。 | 168小时(1周) |
spark.databricks.delta.properties.defaults.logRetentionDuration或delta.logRetentionDuration | Delta log文件过期时间。每当Delta log进行checkpoint动作时,会检查是否有需要删除的过期文件,如果有,则删除这些过期文件以防Delta log文件无限增长。 | 30天 |

