Delta常见配置参数
提交DLI Spark SQL作业时,在“SQL编辑器”界面右上角的“设置 > 参数设置”中配置Delta参数。
参数 |
描述 |
默认值 |
---|---|---|
spark.databricks.delta.retentionDurationCheck.enabled |
vacuum清理不再引用的文件时是否进行保留期检查。 |
true |
spark.databricks.delta.properties.defaults.deletedFileRetentionDuration或delta.deletedFileRetentionDuration |
Delta不再引用的文件的保留期。当spark.databricks.delta.retentionDurationCheck.enabled为true时,清空未超过保留期的文件将会抛出异常。 |
168小时(1周) |
spark.databricks.delta.properties.defaults.logRetentionDuration或delta.logRetentionDuration |
Delta log文件过期时间。每当Delta log进行checkpoint动作时,会检查是否有需要删除的过期文件,如果有,则删除这些过期文件以防Delta log文件无限增长。 |
30天 |