文档首页/对象存储服务 OBS/SDK参考/Go/对象相关接口(Go SDK)/多段相关接口(Go SDK)/分段上传-清理碎片(Go SDK)
更新时间：2026-04-08 GMT+08:00
查看PDF
分享

分段上传-清理碎片(Go SDK)

功能说明

清理碎片是指删除未完成的多段上传任务产生的分片数据。当多段上传任务中断或失败时，会在桶中遗留未合并的分片数据，占用存储空间和产生费用。通过清理碎片功能可以删除这些无用的分片数据。

OBS SDK提供以下清理碎片的方式：

  1. 单次清理：通过AbortMultipartUpload接口清理单个未完成的上传任务。
  2. 批量清理：通过ListMultipartUploads接口列出所有未完成的上传任务，然后批量清理。

接口约束

  • 您必须是桶拥有者或拥有取消分段上传任务的权限，才能取消分段上传任务。建议使用IAM或桶策略进行授权，如果使用IAM则需授予obs:object:AbortMultipartUpload权限，如果使用桶策略则需授予AbortMultipartUpload权限。相关授权方式介绍可参见OBS权限控制概述，配置方式详见使用IAM自定义策略、配置对象策略。
  • OBS支持的Region与Endpoint的对应关系，详细信息请参见地区与终端节点。
  • 清理碎片会永久删除数据，无法恢复，请谨慎操作。
  • 多段上传任务清理后，已上传的分片数据会被删除。

方法定义-单次清理碎片

func (obsClient ObsClient) AbortMultipartUpload(input *AbortMultipartUploadInput, extensions...extensionOptions) (output *BaseModel, err error)

方法定义-列举多段上传任务

func (obsClient ObsClient) ListMultipartUploads(input *ListMultipartUploadsInput, extensions…extensionOptions) (output *ListMultipartUploadsOutput, err error)

请求参数说明

表1 请求参数列表-单次清理碎片

参数名称

参数类型

是否必选

描述

input

*AbortMultipartUploadInput

必选

参数解释：

取消分段上传任务请求参数。详情参见AbortMultipartUploadInput。

extensions

extensionOptions

可选

参数解释：

拓展配置项。通过调用拓展配置项为对应请求配置额外的拓展请求头，详情参见extensionOptions。

表2 AbortMultipartUploadInput

参数名称

参数类型

是否必选

描述

Bucket

string

必选

参数解释：

桶名。

约束限制：

  • 桶的名字需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。
  • 桶命名规则如下：
    • 3～63个字符，数字或字母开头，支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻（如：“my..bucket”）。
    • 禁止“.”和“-”相邻（如：“my-.bucket”和“my.-bucket”）。
  • 同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。

默认取值：

无

Key

string

必选

参数解释：

对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径，路径中不包含桶名。

例如，您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中，对象名为folder/test.txt。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

UploadId

string

必选

参数解释：

分段上传任务的ID，例如：000001648453845DBB78F2340DD460D8

取值范围：

长度为32的字符串。

默认取值：

无

表3 请求参数列表-批量列举

参数名称

参数类型

是否必选

描述

input

*ListMultipartUploadsInput

必选

参数解释：

列举分段上传任务请求参数，详见ListMultipartUploadsInput。

extensions

extensionOptions

可选

参数解释：

拓展配置项，详见extensionOptions。

表4 ListMultipartUploadsInput

参数名称

参数类型

是否必选

描述

Bucket

string

必选

参数解释：

桶名。

约束限制：

  • 桶的名字需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。
  • 桶命名规则如下：
    • 3～63个字符，数字或字母开头，支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻（如：“my..bucket”）。
    • 禁止“.”和“-”相邻（如：“my-.bucket”和“my.-bucket”）。
  • 同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。

默认取值：

无

Prefix

string

可选

参数解释：

限定返回的分段上传任务中的对象名必须带有prefix前缀。

例如，假设您拥有以下对象：logs/day1、logs/day2、logs/day3和ExampleObject.jpg。如果您将logs/指定为前缀，将返回以字符串“logs/”开头的三个对象所在的分段上传任务。如果您指定空的前缀且请求中没有其他过滤条件，将返回桶中的所有分段上传任务。

约束限制：

长度大于0且不超过1024的字符串。

默认取值：

无

MaxUploads

int

可选

参数解释：

列举分段上传任务的最大数目。

约束限制：

当该参数超出1000时，按照默认的1000进行处理。

取值范围：

1~1000，单位：个。

默认取值：

1000

Delimiter

string

可选

参数解释：

对分段上传任务中的对象名进行分组的字符。通常与前缀prefix搭配使用，如果指定了prefix，从prefix到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes；如果没有指定prefix，从对象名的首字符到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes。

例如，桶中有3个对象，分别为abcd、abcde、bbcde。如果指定delimiter为d，prefix为a，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefixes；如果只指定delimiter为d，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefixes，而bbcde会被单独分成一组，形成一条前缀为bbcd的CommonPrefixes。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

KeyMarker

string

可选

参数解释：

列举分段上传任务的起始位置。表示列举时返回指定的KeyMarker之后的分段上传任务。

取值范围：

上次请求返回体的NextKeyMarker值。

默认取值：

无

UploadIdMarker

string

可选

参数解释：

列举分段上传任务的起始位置（uploadId标识）。

约束限制：

只有与KeyMarker参数一起使用时才有意义，即列举时返回指定KeyMarker的UploadIdMarker之后的分段上传任务。

取值范围：

对象的分段上传任务ID，即上次请求返回体的NextUploadIdMarker值。

默认取值：

无

EncodingType

string

可选

参数解释：

用于指定对响应中的Key进行指定类型的编码。如果Key包含xml 1.0标准不支持的控制字符，可通过设置该参数对响应中的Key进行编码。

取值范围：

可选值为url。

默认取值：

无，不设置则不编码。

返回结果说明

表5 单次清理返回结果

参数名称

参数类型

描述

output

*BaseModel

参数解释：

接口返回信息。详情参见BaseModel。

err

error

参数解释：

接口返回错误信息。

表6 BaseModel

参数名称

参数类型

描述

StatusCode

int

参数解释：

HTTP状态码。

取值范围：

状态码是一组从2xx（成功）到4xx或5xx（错误）的数字代码，状态码表示了请求响应的状态。完整的状态码列表请参见状态码。

默认取值：

无

RequestId

string

参数解释：

OBS服务端返回的请求ID。

默认取值：

无

ResponseHeaders

map[string][]string

参数解释：

HTTP响应头信息。

默认取值：

无

表7 返回结果

参数名称

参数类型

描述

output

*ListMultipartUploadsOutput

参数解释：

接口返回信息，详见ListMultipartUploadsOutput。

err

error

参数解释：

接口返回错误信息。

表8 ListMultipartUploadsOutput

参数名称

参数类型

描述

StatusCode

int

参数解释：

HTTP状态码。

取值范围：

状态码是一组从2xx（成功）到4xx或5xx（错误）的数字代码，状态码表示了请求响应的状态。完整的状态码列表请参见状态码。

默认取值：

无

RequestId

string

参数解释：

OBS服务端返回的请求ID。

默认取值：

无

ResponseHeaders

map[string][]string

参数解释：

HTTP响应头信息。

默认取值：

无

Bucket

string

参数解释：

桶名。

约束限制：

  • 桶的名字需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。
  • 桶命名规则如下：
    • 3～63个字符，数字或字母开头，支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻（如：“my..bucket”）。
    • 禁止“.”和“-”相邻（如：“my-.bucket”和“my.-bucket”）。
  • 同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。

取值范围：

长度为3～63个字符。

KeyMarker

string

参数解释：

列举分段上传任务的起始位置，与请求中的该参数对应。表示列举时返回指定的KeyMarker之后的分段上传任务。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

UploadIdMarker

string

参数解释：

列举分段上传任务的起始位置（uploadId标识），与请求中的该参数对应。

取值范围：

长度大于0且不超过32的字符串。

默认取值：

无

NextKeyMarker

string

参数解释：

下次列举分段上传任务请求的起始位置。如果本次没有返回全部结果，响应请求中将包含该元素，用于标明接下来请求的KeyMarker值。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

NextUploadIdMarker

string

参数解释：

下次列举分段上传任务请求的起始位置（uploadId标识）。与NextKeyMarker配合使用。如果本次没有返回全部结果，响应请求中将包含该元素，用于标明接下来请求的UploadIdMarker值。

取值范围：

长度大于0且不超过32的字符串。

默认取值：

无

MaxUploads

int

参数解释：

列举分段上传任务的最大数目，与请求中的该参数对应。

约束限制：

当该参数超出范围时，按照默认的1000进行处理。

取值范围：

1~1000，单位：个。

默认取值：

1000

IsTruncated

bool

参数解释：

表明本次请求是否返回了全部结果。

取值范围：

  • true：表示没有返回全部结果。
  • false：表示已返回了全部结果。

默认取值：

无

Prefix

string

参数解释：

分段上传任务中的对象名前缀，与请求中的该参数对应。限定返回的分段上传任务中的对象名必须带有prefix前缀。

例如，假设您拥有以下对象：logs/day1、logs/day2、logs/day3和ExampleObject.jpg。如果您将logs/指定为前缀，将返回以字符串“logs/”开头的三个对象所在的分段上传任务。如果您指定空的前缀且请求中没有其他过滤条件，将返回桶中的所有分段上传任务。

约束限制：

长度大于0且不超过1024的字符串。

默认取值：

无

Delimiter

string

参数解释：

用于对分段上传任务中的对象名进行分组的字符，与请求中的该参数对应。通常与前缀prefix搭配使用，如果指定了prefix，从prefix到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes；如果没有指定prefix，从对象名的首字符到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes。

例如，桶中有3个对象，分别为abcd、abcde、bbcde。如果指定delimiter为d，prefix为a，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefixes；如果只指定delimiter为d，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefixes，而bbcde会被单独分成一组，形成一条前缀为bbcd的CommonPrefixes。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

Uploads

[]Upload

参数解释：

桶内分段上传任务列表，详见Upload。

CommonPrefixes

[]string

参数解释：

当请求中设置了Delimiter分组字符时，返回按Delimiter分组后的对象名称前缀列表。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

EncodingType

string

参数解释：

用于指定对响应中的Key进行指定类型的编码。如果Key包含xml 1.0标准不支持的控制字符，可通过设置该参数对响应中的Key进行编码。

取值范围：

可选值为url。

默认取值：

无，不设置则不编码。

表9 Upload

参数名称

参数类型

描述

Key

string

参数解释：

对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径，路径中不包含桶名。

例如，您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中，对象名为folder/test.txt。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

UploadId

string

参数解释：

分段上传任务的ID，例如：000001648453845DBB78F2340DD460D8

取值范围：

长度大于0且不超过32的字符串。

默认取值：

无

Initiator

Initiator

参数解释：

分段上传任务的创建者，详见Initiator。

Owner

Owner

参数解释：

分段上传的对象的所有者账号户ID，详见Owner。

StorageClass

StorageClassType

参数解释：

分段上传的对象的存储类型。

取值范围：

存储类型取值范围参见StorageClassType。

默认取值：

无

Initiated

time.Time

参数解释：

分段上传任务的初始化时间。

约束限制：

日期格式必须为ISO8601的格式。 例如：2018-01-01T00:00:00.000Z。

代码示例：time.Now().Add(time.Duration(24) * time.Hour)。

默认取值：

无

表10 Initiator

参数名称

参数类型

是否必选

描述

ID

string

作为请求参数时必选

参数解释：

创建者的账号ID，即domain_id。

取值范围：

如何获取账号ID请参见如何获取账号ID和用户ID？

默认取值：

无

DisplayName

string

可选

参数解释：

创建者账号名。

约束限制：

账号名不支持中文，只能包含英文字母、数字或特殊字符“-_”，且须以字母开头，账号名长度支持6~32个字符。

默认取值：

无

表11 Owner

参数名称

参数类型

是否必选

描述

ID

string

作为请求参数时必选

参数解释：

所有者的账号ID，即domain_id。

取值范围：

如何获取账号ID请参见如何获取账号ID和用户ID？

默认取值：

无

表12 StorageClassType

常量名

原始值

说明

StorageClassStandard

STANDARD

标准存储。

标准存储拥有低访问时延和较高的吞吐量，适用于有大量热点对象（平均一个月多次）或小对象（<1MB），且需要频繁访问数据的业务场景。

StorageClassWarm

WARM

低频访问存储。

低频访问存储适用于不频繁访问（平均一年少于12次）但在需要时也要求能够快速访问数据的业务场景。

StorageClassCold

COLD

归档存储。

归档存储适用于很少访问（平均一年访问一次）数据的业务场景。

StorageClassDeepArchive

DEEP_ARCHIVE

深度归档存储

适用于长期不访问（平均几年访问一次）数据的业务场景。

StorageClassINTELLIGENTTIERING

INTELLIGENT_TIERING

智能分级存储

通过访问模式的变化，自动将对象数据转移到更经济的访问层来优化存储成本，因而适用于数据不断变化或数据不可预测的业务场景。

单次清理碎片示例

本示例用于取消指定桶 examplebucket 中的分段上传任务，并且对象名是example/objectname，上传任务ID是 0000000xxxxxxxx。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
package main

import (
    "fmt"
    "os"
    obs "github.com/huaweicloud/huaweicloud-sdk-go-obs/obs"
)
func main() {
    //推荐通过环境变量获取AKSK，这里也可以使用其他外部引入方式传入，如果使用硬编码可能会存在泄露风险。
    //您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html。
    ak := os.Getenv("AccessKeyID")
    sk := os.Getenv("SecretAccessKey")
    // 【可选】如果使用临时AK/SK和SecurityToken访问OBS，同样建议您尽量避免使用硬编码，以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK，也可以使用其他外部引入方式传入。
    // securityToken := os.Getenv("SecurityToken")
   // endpoint填写Bucket对应的Endpoint, 这里以华北-北京四为例，其他地区请按实际情况填写。
    endPoint := "https://obs.cn-north-4.myhuaweicloud.com"
    // 创建obsClient实例
    // 如果使用临时AKSK和SecurityToken访问OBS，需要在创建实例时通过obs.WithSecurityToken方法指定securityToken值。
    obsClient, err := obs.New(ak, sk, endPoint/*, obs.WithSecurityToken(securityToken)*/)
    if err != nil {
        fmt.Printf("Create obsClient error, errMsg: %s", err.Error())
    }
    input := &obs.AbortMultipartUploadInput{}
    // 指定存储桶名称
    input.Bucket = "examplebucket"
    // 指定上传对象名，此处以 example/objectname 为例
    input.Key = "example/objectname"
    // 指定多段上传任务号，此处以00000188677110424014075CC4A77xxx为例
    input.UploadId = "00000188677110424014075CC4A77xxx"
    // 取消分段上传任务
    output, err := obsClient.AbortMultipartUpload(input)
    if err == nil {
        fmt.Printf("Abort multipart upload successful!\n")
        fmt.Printf("RequestId:%s\n", output.RequestId)
        return
    }
    fmt.Printf("Abort multipart upload fail!\n")
    if obsError, ok := err.(obs.ObsError); ok {
        fmt.Println("An ObsError was found, which means your request sent to OBS was rejected with an error response.")
        fmt.Println(obsError.Error())
    } else {
        fmt.Println("An Exception was found, which means the client encountered an internal problem when attempting to communicate with OBS, for example, the client was unable to access the network.")
        fmt.Println(err)
    }
}

批量清理碎片示例

本示例用于取消指定桶 examplebucket 中的所有的分段上传任务。

package main
import (
  "fmt"
    obs "github.com/huaweicloud/huaweicloud-sdk-go-obs/obs"
  "sync"
)
type CleanupResult struct {
  SuccessCount int
  FailedCount  int
  Errors       []error
  mutex        sync.Mutex
}
func (r *CleanupResult) addSuccess() {
  r.mutex.Lock()
  defer r.mutex.Unlock()
  r.SuccessCount++
}
func (r *CleanupResult) addError(err error) {
  r.mutex.Lock()
  defer r.mutex.Unlock()
  r.FailedCount++
  r.Errors = append(r.Errors, err)
}
func main() {
  //推荐通过环境变量获取AKSK，这里也可以使用其他外部引入方式传入，如果使用硬编码可能会存在泄露风险。
  //您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.htmlhttps://support.huaweicloud.com/intl/zh-cn/usermanual-ca/ca_01_0003.htmlhttps://support.huaweicloud.com/eu/usermanual-ca/ca_01_0003.html。
  // endpoint填写Bucket对应的Endpoint, 这里以华北-北京四为例，其他地区请按实际情况填写。
  endPoint := "https://obs.cn-north-4.myhuaweicloud.com"
  // 创建obsClient实例
  // 如果使用临时AKSK和SecurityToken访问OBS，需要在创建实例时通过obs.WithSecurityToken方法指定securityToken值。
  obsClient, err := obs.New(ak, sk, endPoint /*, obs.WithSecurityToken(securityToken)*/)
  if err != nil {
    fmt.Printf("Create obsClient error, errMsg: %s", err.Error())
  }
  // 指定存储桶名称
  bucket = "examplebucket"
  var result CleanupResult
  // 分页列举所有未完成的多段上传任务
  marker := ""
  for {
    listInput := &obs.ListMultipartUploadsInput{}
    listInput.Bucket = bucket
    listInput.Prefix = ""
    listInput.MaxUploads = 1000
    if marker != "" {
      listInput.KeyMarker = marker
    }
    output, err := obsClient.ListMultipartUploads(listInput)
    if err != nil {
      fmt.Printf("List multipart uploads failed: %v\n", err)
      return
    }
    // 并发清理每个上传任务
    if len(output.Uploads) > 0 {
      var wg sync.WaitGroup
      for _, upload := range output.Uploads {
        wg.Add(1)
        go func(u obs.Upload) {
          defer wg.Done()
          input := &obs.AbortMultipartUploadInput{}
          input.Bucket = bucket
          input.Key = u.Key
          input.UploadId = u.UploadId
          _, abortErr := obsClient.AbortMultipartUpload(input)
          if abortErr != nil {
            fmt.Printf("Failed to cleanup %s (UploadId: %s): %v\n",
              u.Key, u.UploadId, abortErr)
            result.addError(abortErr)
          } else {
            fmt.Printf("Cleaned up upload: %s (UploadId: %s)\n",
              u.Key, u.UploadId)
            result.addSuccess()
          }
        }(upload)
      }
      wg.Wait()
    }
    // 检查是否还有更多数据
    if !output.IsTruncated {
      break
    }
    marker = output.NextKeyMarker
  }
  fmt.Printf("\n✅ Cleanup completed for bucket: %s\n", bucket)
  fmt.Printf("   Total cleaned up: %d\n", result.SuccessCount)
  fmt.Printf("   Failed: %d\n", result.FailedCount)
  if result.FailedCount > 0 {
    fmt.Printf("\n Failed uploads:\n")
    for i, err := range result.Errors {
      fmt.Printf("   %d. %v\n", i+1, err)
    }
  }
}

相关链接

相关文档