文档首页/ 对象存储服务 OBS/ SDK参考/ Go/ 并行文件系统相关接口(Go SDK)/ 列举并行文件系统内对象(Go SDK)
更新时间：2024-09-05 GMT+08:00
查看PDF
分享

列举并行文件系统内对象(Go SDK)

功能介绍

调用列举并行文件系统内对象接口，可列举指定并行文件系统内的部分或所有对象的描述信息。您还可以通过设置前缀、数量、起始位置等参数，返回符合您筛选条件的对象信息。返回结果以对象名的字典序排序。

接口约束

  • 每次接口调用最多返回1000个对象信息。
  • 您必须是并行文件系统拥有者或拥有列举并行文件系统内对象的权限，才能列举并行文件系统内对象。建议使用IAM或策略进行授权，如果使用IAM则需授予obs:bucket:ListBucket权限，如果使用策略则需授予ListBucket权限。相关授权方式介绍可参见OBS权限控制概述，配置方式详见使用IAM自定义策略、自定义创建桶策略。
  • OBS支持的Region与Endpoint的对应关系，详细信息请参见地区与终端节点。

方法定义

func (obsClient ObsClient) ListObjects(input *ListObjectsInput) (output *ListObjectsOutput, err error)

请求参数说明

表1 请求参数列表

参数名称

参数类型

是否必选

描述

input

*ListObjectsInput

必选

参数解释：

列举并行文件系统内对象接口入参，详情参考ListObjectsInput。
表2 ListObjectsInput

参数名称

参数类型

是否必选

描述

Bucket

string

必选

参数解释：

并行文件系统名。

约束限制：

  • 并行文件系统的名字需全局唯一，不能与已有的任何并行文件系统名称重复，包括其他用户创建的并行文件系统。
  • 并行文件系统命名规则如下：
    • 3～63个字符，数字或字母开头，支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻（如：“my..bucket”）。
    • 禁止“.”和“-”相邻（如：“my-.bucket”和“my.-bucket”）。
  • 同一用户在同一个区域多次创建同名并行文件系统不会报错，创建的并行文件系统属性以第一次请求为准。

默认取值：

无

Marker

string

可选

参数解释：

列举桶内对象列表时，指定一个标识符，从该标识符以后按对象名的字典顺序返回对象列表。

约束限制：

仅用于非多版本列举。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

Prefix

string

可选

参数解释：

限定返回的对象名必须带有指定前缀。

例如，假设您拥有以下对象：logs/day1、logs/day2、logs/day3和ExampleObject.jpg。如果您将logs/指定为前缀，将返回以字符串“logs/”开头的三个对象。如果您指定空的前缀且请求中没有其他过滤条件，将返回并行文件系统中的所有对象。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

MaxKeys

int

可选

参数解释：

列举对象的最大数目，返回的对象列表将是按照字典顺序的最多前MaxKeys个对象。

取值范围：

1~1000，当超出范围时，按照默认的1000进行处理。

默认取值：

1000

Delimiter

string

可选

参数解释：

对象名按照此标识符进行分组。通常与prefix参数搭配使用，如果指定了prefix，从prefix到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes；如果没有指定prefix，从对象名的首字符到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes。

例如，并行文件系统中有3个对象，分别为abcd、abcde、bbcde。如果指定delimiter为d，prefix为a，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefixes；如果只指定delimiter为d，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefixes，而bbcde会被单独分成一组，形成一条前缀为bbcd的CommonPrefixes。

对于并行文件系统，不携带此参数时默认列举是递归列举此目录下所有内容，会列举子目录。在大数据场景下（目录层级深、目录下文件多）的列举，建议设置[delimiter=/]，只列举当前目录下的内容，不列举子目录，提高列举效率。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

EncodingType

string

可选

参数解释：

对响应中的部分元素进行指定类型的编码。如果Delimiter、Marker、Prefix、CommonPrefixes、NextMarker和Key包含xml 1.0标准不支持的控制字符（特殊字符），需设置该参数为url编码。

取值范围：

可选值为url。

默认取值：

无，不设置则不编码。

返回结果说明

表3 返回结果列表

参数名称

参数类型

描述

output

*ListObjectsOutput

参数解释：

列举并行文件系统内对象返回参数，详见ListObjectsOutput。

err

error

参数解释：

接口返回错误信息。
表4 ListObjectsOutput

参数名称

参数类型

描述

StatusCode

int

参数解释：

HTTP状态码。

取值范围：

状态码是一组从2xx（成功）到4xx或5xx（错误）的数字代码，状态码表示了请求响应的状态。完整的状态码列表请参见状态码。

默认取值：

无

RequestId

string

参数解释：

OBS服务端返回的请求ID。

默认取值：

无

ResponseHeaders

map[string][]string

参数解释：

HTTP响应头信息。

默认取值：

无

Location

string

参数解释：

并行文件系统所在的区域。

约束限制：

该参数定义了并行文件系统将会被创建在哪个区域，如果使用的终端节点是obs.myhuaweicloud.com，可以不携带此参数；如果使用的终端节点不是obs.myhuaweicloud.com，则必须携带此参数。

取值范围：

当前有效的OBS区域和终端节点的更多信息，请参考地区和终端节点。终端节点即调用API的请求地址，不同服务不同区域的终端节点不同，您可以向企业管理员获取区域和终端节点信息。

默认取值：

终端节点为obs.myhuaweicloud.com且用户未设定区域时，默认为华北-北京一（cn-north-1）。

Name

string

参数解释：

并行文件系统名。

约束限制：

  • 并行文件系统的名字需全局唯一，不能与已有的任何并行文件系统名称重复，包括其他用户创建的并行文件系统。
  • 并行文件系统命名规则如下：
    • 3～63个字符，数字或字母开头，支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻（如：“my..bucket”）。
    • 禁止“.”和“-”相邻（如：“my-.bucket”和“my.-bucket”）。
  • 同一用户在同一个区域多次创建同名并行文件系统不会报错，创建的并行文件系统属性以第一次请求为准。

取值范围：

长度为3～63个字符。

Prefix

string

参数解释：

对象名的前缀，与请求中的该参数对应。

例如，假设您拥有以下对象：logs/day1、logs/day2、logs/day3和ExampleObject.jpg。如果您将logs/指定为前缀，将返回以字符串“logs/”开头的三个对象。如果您指定空的前缀且请求中没有其他过滤条件，将返回并行文件系统中的所有对象。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

Marker

string

参数解释：

列举对象的起始位置，与请求中的该参数对应。列举并行文件系统内对象列表时，指定一个标识符，从该标识符以后按对象名的字典顺序返回对象列表。

约束限制：

仅用于非多版本列举。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

Delimiter

string

参数解释：

对象名按照此标识符进行分组。通常与prefix参数搭配使用，如果指定了prefix，从prefix到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes；如果没有指定prefix，从对象名的首字符到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes。

例如，并行文件系统中有3个对象，分别为abcd、abcde、bbcde。如果指定delimiter为d，prefix为a，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefixes；如果只指定delimiter为d，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefixes，而bbcde会被单独分成一组，形成一条前缀为bbcd的CommonPrefixes。

对于并行文件系统，不携带此参数时默认列举是递归列举此目录下所有内容，会列举子目录。在大数据场景下（目录层级深、目录下文件多）的列举，建议设置[delimiter=/]，只列举当前目录下的内容，不列举子目录，提高列举效率。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

MaxKeys

int

参数解释：

列举对象的最大数目，与请求中的该参数对应。返回的对象列表将是按照字典顺序的最多前MaxKeys个对象。

取值范围：

1~1000，当超出范围时，按照默认的1000进行处理。

默认取值：

1000

IsTruncated

bool

参数解释：

表明本次请求是否返回了全部结果。因为每次列举返回对象的数量上限是1000个，如果对象个数大于1000，则无法通过一次请求返回全部结果。

取值范围：

true：表示没有返回全部结果。

false：表示已返回了全部结果。

默认取值：

无

NextMarker

string

参数解释：

下次列举对象请求的起始位置。如果本次没有返回全部结果，响应请求中将包含此字段，用于标明本次请求列举到的最后一个对象。后续请求可以指定Marker参数等于该值来列举剩余的对象。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

Contents

[]Content

参数解释：

并行文件系统内对象列表，详见Content。

CommonPrefixes

[]string

参数解释：

当请求中设置了Delimiter分组字符时，返回按Delimiter分组后的对象名称前缀列表。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

EncodingType

string

参数解释：

对响应中的部分元素进行指定类型的编码。如果Delimiter、Marker、Prefix、CommonPrefixes、NextMarker和Key包含xml 1.0标准不支持的控制字符（特殊字符），需设置该参数为url编码。

取值范围：

可选值为url。

默认取值：

无
表5 Content

参数名称

参数类型

描述

Key

string

参数解释：

对象名。对象名是对象在存储并行文件系统中的唯一标识。对象名是对象在并行文件系统中的完整路径，路径中不包含并行文件系统名。

例如，您对象的访问地址为examplebucket.obs.ap-southeast-1.myhuaweicloud.com/folder/test.txt 中，对象名为folder/test.txt。

取值范围：

长度大于0且不超过1024的字符串

默认取值：

无

LastModified

time.Time

参数解释：

对象最近一次被修改的时间（UTC时间）。

取值范围：

UTC时间

默认取值：

无

ETag

string

参数解释：

对象的base64编码的128位MD5摘要。ETag是对象内容的唯一标识，可以通过该值识别对象内容是否有变化。比如上传对象时ETag为A，下载对象时ETag为B，则说明对象内容发生了变化。ETag只反映变化的内容，而不是其元数据。上传的对象或拷贝操作创建的对象，都有唯一的ETag。

约束限制：

当对象是服务端加密的对象时，ETag值不是对象的MD5值。

取值范围：

长度为32的字符串。

默认取值：

无

Size

int64

参数解释：

对象的字节数。

取值范围：

0~48.8TB，单位：字节。

默认取值：

无

Owner

Owner

参数解释：

对象的所有者，包含对象拥有者DomainId和对象拥有者名称，详见Owner。

默认取值：

无。

StorageClass

string

参数解释：

对象的存储类型。

取值范围：

可选的存储类别详见表6。

默认取值：

无
表6 StorageClassType

常量名

原始值

说明

StorageClassStandard

STANDARD

标准存储。

标准存储拥有低访问时延和较高的吞吐量，适用于有大量热点对象（平均一个月多次）或小对象（<1MB），且需要频繁访问数据的业务场景。

StorageClassWarm

WARM

低频访问存储。

低频访问存储适用于不频繁访问（平均一年少于12次）但在需要时也要求能够快速访问数据的业务场景。

StorageClassCold

COLD

归档存储。

归档存储适用于很少访问（平均一年访问一次）数据的业务场景。
表7 Owner

参数名称

参数类型

是否必选

描述

ID

string

作为请求参数时必选

参数解释：

所有者的账号ID，即domain_id。

取值范围：

如何获取账号ID请参见如何获取账号ID和用户ID?

默认取值：

无

代码示例

本示例用于分页列举并行文件系统examplebucket内的全部对象。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
 
// 本示例用于分页列举桶examplebucket的所有文件
package main
import (
    "fmt"
    "os"
    obs "github.com/huaweicloud/huaweicloud-sdk-go-obs/obs"
)
func main() {
    // 您可以通过环境变量获取访问密钥AK/SK，也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险。
    // 您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/intl/zh-cn/usermanual-ca/ca_01_0003.html
    ak := os.Getenv("AccessKeyID")
    sk := os.Getenv("SecretAccessKey")
    // 【可选】如果使用临时AK/SK和SecurityToken访问OBS，同样建议您尽量避免使用硬编码，以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK，也可以使用其他外部引入方式传入。
    securityToken := os.Getenv("SecurityToken")
    // endpoint填写Bucket对应的Endpoint, 这里以中国-香港为例，其他地区请按实际情况填写。
    endPoint := "https://obs.ap-southeast-1.myhuaweicloud.com"
    // 创建obsClient实例
    // 如果使用临时AKSK和SecurityToken访问OBS，需要在创建实例时通过obs.WithSecurityToken方法指定securityToken值。
    obsClient, err := obs.New(ak, sk, endPoint, obs.WithSecurityToken(securityToken))
    if err != nil {
        fmt.Printf("Create obsClient error, errMsg: %s", err.Error())
    }
    input := &obs.ListObjectsInput{}
    // 指定并行文件系统名称
    input.Bucket = "examplebucket"
    // 指定返回的最大对象数，此处以 100 为例，返回的对象列表将是按照字典顺序的最多前max-keys个对象，默认值为1000。
    input.MaxKeys = 100
    // 指定编码方式，此处以“url”为例，如果列举对象中存在特殊字符，则该参数必传
    input.EncodingType = "url"
    for {
        // 列举并行文件系统内对象
        output, err := obsClient.ListObjects(input)
        if err != nil {
            fmt.Printf("List objects under the bucket(%s) fail!\n", input.Bucket)
            if obsError, ok := err.(obs.ObsError); ok {
                fmt.Println("An ObsError was found, which means your request sent to OBS was rejected with an error response.")
                fmt.Println(obsError.Error())
            } else {
                fmt.Println("An Exception was found, which means the client encountered an internal problem when attempting to communicate with OBS, for example, the client was unable to access the network.")
                fmt.Println(err)
            }
            os.Exit(-1)
        }
        // 打印列举结果。默认情况下，一次返回100条记录。
        fmt.Printf("List objects under the bucket(%s) successful!\n", input.Bucket)
        for index, val := range output.Contents {
            fmt.Printf("Content[%d]-OwnerId:%s, ETag:%s, Key:%s, LastModified:%s, Size:%d\n",
                index, val.Owner.ID, val.ETag, val.Key, val.LastModified, val.Size)
        }
        if output.IsTruncated {
            input.Marker = output.NextMarker
        } else {
            break
        }
    }
}