更新时间:2024-12-19 GMT+08:00
分享

批量删除对象(Java SDK)

功能说明

为节省空间和成本,您可以根据需要删除指定桶中的多个对象。

批量删除对象特性用于将一个桶内的部分对象一次性删除,删除后不可恢复。批量删除对象要求返回结果里包含每个对象的删除结果。OBS的批量删除对象使用同步删除对象的方式,每个对象的删除结果返回给请求用户。

开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。

接口约束

  • 您必须是桶拥有者或拥有批量删除对象的权限,才能批量删除对象。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object:DeleteObject权限,如果使用桶策略则需授予DeleteObject权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略配置对象策略
  • OBS支持的region以及region与endPoint的对应关系,详细信息请参见地区与终端节点
  • 桶没有开启多版本控制功能时,已删除的对象不可恢复,请谨慎操作。
  • 批量删除对象一次能接收最大对象数目为1000个,如果超出限制,服务端会返回请求不合法。
  • 并发任务分配后,在循环删除多个对象过程中, 如果发生内部错误, 有可能出现数据不一致的情况(某个对象索引数据删除但还有元数据)。

方法定义

obsClient.deleteObjects(DeleteObjectsRequest deleteRequest)

请求参数说明

表1 请求参数列表

参数名称

参数类型

是否必选

描述

deleteRequest

DeleteObjectsRequest

必选

参数解释

批量删除对象请求参数,详见DeleteObjectsRequest

表2 DeleteObjectsRequest

参数名称

参数类型

是否必选

描述

bucketName

String

必选

参数解释

桶名。

约束限制:

  • 桶的名字需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。
  • 桶命名规则如下:
    • 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻(如:“my..bucket”)。
    • 禁止“.”和“-”相邻(如:“my-.bucket”和“my.-bucket”)。
  • 同一用户在同一个区域多次创建同名桶不会报错,创建的桶属性以第一次请求为准。

默认取值:

keyAndVersions

List<KeyAndVersion>

必选

参数解释:

待删除的对象列表,详情参考KeyAndVersion

quiet

boolean

可选

参数解释:

批量删除对象的响应方式。

取值范围:

  • false:表示详细模式,返回删除成功和删除失败的所有结果。
  • true:表示简单模式,只返回删除过程中出错的结果。

默认取值:

false

encodingType

String

可选

参数解释:

用于指定对响应中的对象名objectKey进行指定类型的编码。如果objectKey包含xml 1.0标准不支持的控制字符,可通过设置该参数对响应中的objectKey进行编码。

取值范围:

可选值为url。

默认取值:

无,不设置则不编码。

表3 KeyAndVersion

参数名称

参数类型

是否必选

描述

key

String

必选

参数解释:

对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。

例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。

取值范围:

长度大于0且不超过1024的字符串。

默认取值:

versionId

String

可选

参数解释:

对象的版本号,用于删除指定版本号的对象。

取值范围:

长度为32的字符串。

默认取值:

无,如果不设置则默认删除最新版本的对象。

返回结果说明

表4 DeleteObjectsResult

参数名称

参数类型

描述

statusCode

int

参数解释:

HTTP状态码。

取值范围:

状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。完整的状态码列表请参见状态码

默认取值:

responseHeaders

Map<String, Object>

参数解释:

响应消息头列表,由多个元组构成。元组中String代表响应消息头的名称,Object代表响应消息头的值。

默认取值:

deletedObjectResults

List<DeleteObjectResult>

参数解释:

删除对象后的响应结果,详见DeleteObjectResult

errorResults

List<ErrorResult>

参数解释:

删除失败的对象列表,详见ErrorResult

表5 DeleteObjectResult

参数名称

参数类型

描述

statusCode

int

参数解释:

HTTP状态码。

取值范围:

状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。完整的状态码列表请参见状态码

默认取值:

responseHeaders

Map<String, Object>

参数解释:

响应消息头列表,由多个元组构成。元组中String代表响应消息头的名称,Object代表响应消息头的值。

默认取值:

versionId

String

参数解释:

对象的版本号。

取值范围:

长度为32的字符串。

默认取值:

deleteMarker

boolean

参数解释:

标识删除的对象是否是删除标记。

取值范围:

  • true:是删除标记。
  • false:不是删除标记。

默认取值:

false

objectKey

String

参数解释:

对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。

例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。

取值范围:

长度大于0且不超过1024的字符串。

默认取值:

表6 ErrorResult

参数名称

参数类型

描述

versionId

String

参数解释:

对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。

例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。

取值范围:

长度大于0且不超过1024的字符串。

默认取值:

errorCode

String

参数解释

删除失败的错误码。可参考OBS错误码

objectKey

String

参数解释:

对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。

例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。

取值范围:

长度大于0且不超过1024的字符串。

默认取值:

message

String

参数解释

删除失败的错误原因。可参考OBS错误码

代码示例

以下代码展示了如何进行批量删除example-bucket桶下的所有对象名以exampleObjectPrefix开头的对象,即“删除指定前缀或目录下的所有对象”,请注意当示例中的exampleObjectPrefix变量内容设置为空时会导致删除桶内所有对象!

import com.obs.services.ObsClient;
import com.obs.services.exception.ObsException;
import com.obs.services.model.DeleteObjectsRequest;
import com.obs.services.model.DeleteObjectsResult;
import com.obs.services.model.ListVersionsRequest;
import com.obs.services.model.ListVersionsResult;
import com.obs.services.model.VersionOrDeleteMarker;
import java.util.Map;

public class DeleteObjects002 {
    public static void main(String[] args) {
        // 您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险。
        // 您可以登录访问管理控制台获取访问密钥AK/SK
        String ak = System.getenv("ACCESS_KEY_ID");
        String sk = System.getenv("SECRET_ACCESS_KEY_ID");
        // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。
        // 您可以通过环境变量获取访问密钥AK/SK/SecurityToken,也可以使用其他外部引入方式传入。
        // String securityToken = System.getenv("SECURITY_TOKEN");
        // endpoint填写桶所在的endpoint, 此处以华北-北京四为例,其他地区请按实际情况填写。
        String endPoint = "https://obs.cn-north-4.myhuaweicloud.com";
        // 您可以通过环境变量获取endPoint,也可以使用其他外部引入方式传入。
        // String endPoint = System.getenv("ENDPOINT");

        // 创建ObsClient实例, 建议使用单例模式的client
        // 使用永久AK/SK初始化客户端
        ObsClient obsClient = new ObsClient(ak, sk,endPoint);
        // 使用临时AK/SK和SecurityToken初始化客户端
        // ObsClient obsClient = new ObsClient(ak, sk, securityToken, endPoint);

        try {
            String exampleBucket = "example-bucket";
            String exampleObjectPrefix = "exampleObjectPrefix";
            // 批量删除对象
            ListVersionsRequest request = new ListVersionsRequest(exampleBucket);
            // 每次批量删除100个对象
            request.setMaxKeys(100);
            request.setPrefix(exampleObjectPrefix);
            ListVersionsResult result;
            do {
                result = obsClient.listVersions(request);
                DeleteObjectsRequest deleteRequest = new DeleteObjectsRequest(exampleBucket);
                // deleteRequest.setQuiet(true);
                // 注意此示例默认是详细模式,如果要使用简单模式,请添加本行代码
                for (VersionOrDeleteMarker v : result.getVersions()) {
                    // 获取对象和版本号
                    deleteRequest.addKeyAndVersion(v.getKey(), v.getVersionId());
                }
                if(deleteRequest.getKeyAndVersions().length > 0){
                    DeleteObjectsResult deleteResult = obsClient.deleteObjects(deleteRequest);
                    // 获取删除成功的对象
                    System.out.println("DeletedObjectResults:"+ deleteResult.getDeletedObjectResults());
                    // 获取删除失败的对象
                    System.out.println("ErrorResults:"+ deleteResult.getErrorResults());
                }else{
                    System.out.println("No object to delete");
                }
                request.setKeyMarker(result.getNextKeyMarker());
                // 如果没有开启多版本对象,就不需要设置VersionIdMarker
                request.setVersionIdMarker(result.getNextVersionIdMarker());
            } while (result.isTruncated());
            System.out.println("deleteObjects successfully");
        } catch (ObsException e) {
            System.out.println("deleteObjects failed");
            // 请求失败,打印http状态码
            System.out.println("HTTP Code:" + e.getResponseCode());
            // 请求失败,打印服务端错误码
            System.out.println("Error Code:" + e.getErrorCode());
            // 请求失败,打印详细错误信息
            System.out.println("Error Message:" + e.getErrorMessage());
            // 请求失败,打印请求id
            System.out.println("Request ID:" + e.getErrorRequestId());
            System.out.println("Host ID:" + e.getErrorHostId());
            Map<String, String> headers = e.getResponseHeaders();// 遍历Map的entry,打印所有报错相关头域
            if(headers != null){
                for (Map.Entry<String, String> header : headers.entrySet()) {
                    if(header.getKey().contains("error")){
                        System.out.println(header.getKey()+":"+header.getValue());
                    }
                }
            }
            e.printStackTrace();
        } catch (Exception e) {
            System.out.println("deleteObjects failed");
            // 其他异常信息打印
            e.printStackTrace();
        }
    }
}

以下代码展示了如何进行批量删除examplebucket桶下的所有对象,请谨慎使用!

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
import com.obs.services.ObsClient;
import com.obs.services.exception.ObsException;
import com.obs.services.model.DeleteObjectsRequest;
import com.obs.services.model.DeleteObjectsResult;
import com.obs.services.model.ListVersionsRequest;
import com.obs.services.model.ListVersionsResult;
import com.obs.services.model.VersionOrDeleteMarker;
public class DeleteObjects001 {
    public static void main(String[] args) {
        // 您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险。
        // 您可以登录访问管理控制台获取访问密钥AK/SK
        String ak = System.getenv("ACCESS_KEY_ID");
        String sk = System.getenv("SECRET_ACCESS_KEY_ID");
        // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。
        // 您可以通过环境变量获取访问密钥AK/SK/SecurityToken,也可以使用其他外部引入方式传入。
        // String securityToken = System.getenv("SECURITY_TOKEN");
        // endpoint填写桶所在的endpoint, 此处以华北-北京四为例,其他地区请按实际情况填写。
        String endPoint = "https://obs.cn-north-4.myhuaweicloud.com";
        // 您可以通过环境变量获取endPoint,也可以使用其他外部引入方式传入。
        //String endPoint = System.getenv("ENDPOINT");
        
        // 创建ObsClient实例
        // 使用永久AK/SK初始化客户端
        ObsClient obsClient = new ObsClient(ak, sk,endPoint);
        // 使用临时AK/SK和SecurityToken初始化客户端
        // ObsClient obsClient = new ObsClient(ak, sk, securityToken, endPoint);

        try {
            // 批量删除对象
            ListVersionsRequest request = new ListVersionsRequest("examplebucket");
            // 每次批量删除100个对象
            request.setMaxKeys(100);
            ListVersionsResult result;
            do {
                result = obsClient.listVersions(request);
                DeleteObjectsRequest deleteRequest = new DeleteObjectsRequest("examplebucket");
                // deleteRequest.setQuiet(true); // 注意此示例默认是详细模式,如果要使用简单模式,请添加本行代码
                for (VersionOrDeleteMarker v : result.getVersions()) {
                    // 获取对象和版本号
                    deleteRequest.addKeyAndVersion(v.getKey(), v.getVersionId());
                }
                if(deleteRequest.getKeyAndVersions().length > 0){
                    DeleteObjectsResult deleteResult = obsClient.deleteObjects(deleteRequest);
                    // 获取删除成功的对象
                    System.out.println("DeletedObjectResults:"+ deleteResult.getDeletedObjectResults());
                    // 获取删除失败的对象
                    System.out.println("ErrorResults:"+ deleteResult.getErrorResults());
                }else{
                    System.out.println("No object to delete");
                }
                request.setKeyMarker(result.getNextKeyMarker());
                // 如果没有开启多版本对象,就不需要设置VersionIdMarker
                request.setVersionIdMarker(result.getNextVersionIdMarker());
            } while (result.isTruncated());
            System.out.println("deleteObjects successfully");
        } catch (ObsException e) {
            System.out.println("deleteObjects failed");
            // 请求失败,打印http状态码
            System.out.println("HTTP Code:" + e.getResponseCode());
            // 请求失败,打印服务端错误码
            System.out.println("Error Code:" + e.getErrorCode());
            // 请求失败,打印详细错误信息
            System.out.println("Error Message:" + e.getErrorMessage());
            // 请求失败,打印请求id
            System.out.println("Request ID:" + e.getErrorRequestId());
            System.out.println("Host ID:" + e.getErrorHostId());
            e.printStackTrace();
        } catch (Exception e) {
            System.out.println("deleteObjects failed");
            // 其他异常信息打印
            e.printStackTrace();
        }
    }
}

以下代码展示了批量删除未开启多版本桶examplebucket中的文件夹test下的所有对象。

import com.obs.services.ObsClient;
import com.obs.services.ObsConfiguration;
import com.obs.services.exception.ObsException;
import com.obs.services.model.*;
import java.io.IOException;
import java.util.Map;

public class Delete_Objects_test {
    public static void main(String[] args) throws IOException {
// 您可以通过环境变量获取访问密钥AK/SK,也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险。
        // 您可以登录访问管理控制台获取访问密钥AK/SK
        String ak = System.getenv("ACCESS_KEY_ID");
        String sk = System.getenv("SECRET_ACCESS_KEY_ID");
        // 【可选】如果使用临时AK/SK和SecurityToken访问OBS,同样建议您尽量避免使用硬编码,以降低信息泄露风险。
        // 您可以通过环境变量获取访问密钥AK/SK/SecurityToken,也可以使用其他外部引入方式传入。
        // String securityToken = System.getenv("SECURITY_TOKEN");
        // endpoint填写桶所在的endpoint, 此处以华北-北京四为例,其他地区请按实际情况填写。
        String endPoint = "https://obs.cn-north-4.myhuaweicloud.com";
        // 您可以通过环境变量获取endPoint,也可以使用其他外部引入方式传入。
        // String endPoint = System.getenv("ENDPOINT");

        // 创建ObsClient实例, 建议使用单例模式的client
        // 使用永久AK/SK初始化客户端
        ObsClient obsClient = new ObsClient(ak, sk,endPoint);
        // 使用临时AK/SK和SecurityToken初始化客户端
        // ObsClient obsClient = new ObsClient(ak, sk, securityToken, endPoint);
        try {
            String exampleBucket = "examplebucket";
            String exampleObjectPrefix = "test/";
            ListObjectsRequest listObjectsRequest = new ListObjectsRequest(exampleBucket);
            listObjectsRequest.setMaxKeys(100);
            listObjectsRequest.setPrefix(exampleObjectPrefix);
            ObjectListing objectListing;

            do {
                objectListing = obsClient.listObjects(listObjectsRequest);
                DeleteObjectsRequest deleteRequest = new DeleteObjectsRequest(exampleBucket);
                // 注意此示例默认是详细模式,如果要使用简单模式,请添加本行代码
                deleteRequest.setQuiet(true);
                for (ObsObject object : objectListing.getObjects()) {
                    deleteRequest.addKeyAndVersion(object.getObjectKey(), null);
                }

                if (deleteRequest.getKeyAndVersions().length > 0) {
                    DeleteObjectsResult deleteResult = obsClient.deleteObjects(deleteRequest);
                    // 获取删除成功的对象
                    System.out.println("DeletedObjectResults:" + deleteResult.getDeletedObjectResults());
                    // 获取删除失败的对象
                    System.out.println("ErrorResults:" + deleteResult.getErrorResults());
                } else {
                    System.out.println("No object to delete");
                }
                listObjectsRequest.setMarker(objectListing.getNextMarker());
            } while (objectListing.isTruncated());
            System.out.println("deleteObjects successfully");
        } catch (ObsException e) {
            System.out.println("deleteObjects failed");
            // 请求失败,打印http状态码
            System.out.println("HTTP Code:" + e.getResponseCode());
            // 请求失败,打印服务端错误码
            System.out.println("Error Code:" + e.getErrorCode());
            // 请求失败,打印详细错误信息
            System.out.println("Error Message:" + e.getErrorMessage());
            // 请求失败,打印请求id
            System.out.println("Request ID:" + e.getErrorRequestId());
            System.out.println("Host ID:" + e.getErrorHostId());
            Map<String, String> headers = e.getResponseHeaders();
            // 遍历Map的entry,打印所有报错相关头域
            if (headers != null) {
                for (Map.Entry<String, String> header : headers.entrySet()) {
                    if (header.getKey().contains("error")) {
                        System.out.println(header.getKey() + ":" + header.getValue());
                    }
                }
            }
            e.printStackTrace();
        } catch (Exception e) {
            System.out.println("deleteObjects failed");
            // 其他异常信息打印
            e.printStackTrace();
        }

}
}

相关链接

  • 关于批量删除对象的API说明,请参见批量删除对象
  • 更多关于删除对象的示例代码,请参见Github示例
  • 删除对象过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码

相关文档