更新时间:2024-07-04 GMT+08:00

配置多版本过期数据回收站

功能描述

在DLI数据多版本功能开启后,过期的备份数据后续在执行insert overwrite或者truncate语句时会被系统直接清理。OBS并行文件系统可以通过配置回收站加速删除操作过期的备份数据。通过在表属性添加配置“dli.multi.version.trash.dir”即可开启回收站功能。开启和关闭多版本语法请参考开启或关闭数据多版本

DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表

语法格式

1
2
ALTER TABLE [db_name.]table_name 
SET TBLPROPERTIES ("dli.multi.version.trash.dir"="obs桶多版本回收站目录");

关键字

  • TBLPROPERTIES:TBLPROPERTIES子句给表添加key/value的属性。

参数说明

表1 参数说明

参数

描述

db_name

数据库名称,由字母、数字和下划线(_)组成。不能是纯数字,且不能以数字和下划线开头。

table_name

表名称。

obs桶多版本回收站目录

当前OBS表所在桶下的一个目录,您可以根据需要调整目录路径。比如当前OBS表所在路径为“obs://bucketName/filePath”,OBS表目录下已创建Trash目录,则该回收站目录可以指定为“obs://bucketName/filePath/Trash”。

注意事项

  • DLI数据多版本功能当前仅支持通过Hive语法创建的OBS表,具体建表SQL语法可以参考使用Hive语法创建OBS表
  • 回收站数据自动清理需要在OBS并行文件系统的桶上配置回收站数据的生命周期规则。具体步骤参考如下:
    1. 在OBS服务控制台页面左侧选择“并行文件系统”,单击对应的文件系统名称。
    2. 在“基础配置”下单击“生命周期规则”,创建或者编辑生命周期规则。
      图1 创建生命周期规则

示例

在DLI数据多版本中,通过配置回收站加速删除过期的备份数据,数据回收到OBS的/.Trash目录下。
1
2
ALTER TABLE test_table 
SET TBLPROPERTIES ("dli.multi.version.trash.dir"="/.Trash");