文档首页/ 数据湖探索 DLI/ Spark SQL语法参考/ 表相关/ 多版本备份恢复数据/ 配置多版本过期数据回收站
更新时间：2024-07-04 GMT+08:00
查看PDF
分享

配置多版本过期数据回收站

功能描述

在DLI数据多版本功能开启后，过期的备份数据后续在执行insert overwrite或者truncate语句时会被系统直接清理。OBS并行文件系统可以通过配置回收站加速删除操作过期的备份数据。通过在表属性添加配置“dli.multi.version.trash.dir”即可开启回收站功能。开启和关闭多版本语法请参考开启或关闭数据多版本。

DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表SQL语法可以参考使用Hive语法创建OBS表。

语法格式

1
2
 
ALTER TABLE [db_name.]table_name 
SET TBLPROPERTIES ("dli.multi.version.trash.dir"="obs桶多版本回收站目录");

关键字

  • TBLPROPERTIES：TBLPROPERTIES子句给表添加key/value的属性。

参数说明

表1 参数说明

参数

描述

db_name

数据库名称，由字母、数字和下划线（_）组成。不能是纯数字，且不能以数字和下划线开头。

table_name

表名称。

obs桶多版本回收站目录

当前OBS表所在桶下的一个目录，您可以根据需要调整目录路径。比如当前OBS表所在路径为“obs://bucketName/filePath”，OBS表目录下已创建Trash目录，则该回收站目录可以指定为“obs://bucketName/filePath/Trash”。

注意事项

  • DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表，具体建表SQL语法可以参考使用Hive语法创建OBS表。
  • 回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下：
    1. 在OBS服务控制台页面左侧选择“并行文件系统”，单击对应的文件系统名称。
    2. 在“基础配置”下单击“生命周期规则”，创建或者编辑生命周期规则。
      图1 创建生命周期规则

示例

在DLI数据多版本中，通过配置回收站加速删除过期的备份数据，数据回收到OBS的/.Trash目录下。 
1
2
 
ALTER TABLE test_table 
SET TBLPROPERTIES ("dli.multi.version.trash.dir"="/.Trash");