# 列举并行文件系统内对象(Go SDK) #### 功能介绍 调用列举并行文件系统内对象接口，可列举指定并行文件系统内的部分或所有对象的描述信息。您还可以通过设置前缀、数量、起始位置等参数，返回符合您筛选条件的对象信息。返回结果以对象名的字典序排序。 #### 接口约束 - 每次接口调用最多返回1000个对象信息。 - 您必须是并行文件系统拥有者或拥有列举并行文件系统内对象的权限，才能列举并行文件系统内对象。建议使用IAM或并行文件系统策略进行授权，如果使用IAM则需授予obs:bucket:ListBucket权限，如果使用并行文件系统策略则需授予ListBucket权限。相关授权方式介绍可参见[OBS权限控制概述](https://support.huaweicloud.com/perms-cfg-obs/obs_40_0001.html)，配置方式详见[使用IAM自定义策略](https://support.huaweicloud.com/usermanual-obs/obs_03_0121.html)、[自定义创建桶策略](https://support.huaweicloud.com/usermanual-obs/obs_03_0123.html)。 - OBS支持的Region与Endpoint的对应关系，详细信息请参见[地区与终端节点](https://developer.huaweicloud.com/endpoint?OBS)。 #### 方法定义 **func** (obsClient ObsClient) ListObjects(input \*[ListObjectsInput], extensions...extensionOptions) (output \*[ListObjectsOutput], err error) #### 请求参数说明 表1请求参数列表 | **参数名称** | **参数类型** | **是否必选** | **描述** | |:---|:---|:---|:---| | input | \*[ListObjectsInput] | 必选 | **参数解释** **：** 列举并行文件系统内对象接口入参，详情参考[ListObjectsInput]。 **约束限制：** 无 **取值范围：** 无 **默认取值：** 无 | | extensions | [extensionOptions](https://support.huaweicloud.com/sdk-go-devg-obs/obs_33_0105.html) | 可选 | **参数解释：** 并行文件系统相关扩展信息。通过调用拓展配置项为对应请求配置额外的拓展请求头，详情参考[extensionOptions](https://support.huaweicloud.com/sdk-go-devg-obs/obs_33_0105.html)。 **约束限制：** 无 **取值范围：** 无 **默认取值：** 无 | 表2ListObjectsInput | **参数名称** | **参数类型** | **是否必选** | **描述** | |:---|:---|:---|:---| | Bucket | string | 必选 | **参数解释** **：** 并行文件系统名。 **约束限制：** - 并行文件系统命名规则如下： - 需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。用户删除桶后，立即创建同名桶或并行文件系统会创建失败，需要等待30分钟才能创建。 - 长度范围为3到63个字符，仅支持小写字母、数字、中划线（-）、英文句号（.）。 - 禁止两个英文句号（.）相邻，禁止英文句号（.）和中划线（-）相邻，禁止以英文句号（.）和中划线（-）开头或结尾。 - 禁止使用IP地址。 - 同一用户在同一个区域多次创建同名并行文件系统不会报错，创建的并行文件系统属性以第一次请求为准。 **取值范围：** 无 **默认取值：** 无 | | Marker | string | 可选 | **参数解释：** 列举并行文件系统内对象列表时，指定一个标识符，从该标识符以后按对象名的字典顺序返回对象列表。 **约束限制：** 仅用于非多版本列举。 **取值范围：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | | Prefix | string | 可选 | **参数解释：** 限定返回的对象名必须带有指定前缀。 例如，假设您拥有以下对象：logs/day1、logs/day2、logs/day3和ExampleObject.jpg。如果您将logs/指定为前缀，将返回以字符串"logs/"开头的三个对象。如果您指定空的前缀且请求中没有其他过滤条件，将返回并行文件系统中的所有对象。 **取值范围：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | | MaxKeys | int | 可选 | **参数解释：** 列举对象的最大数目，返回的对象列表将是按照字典顺序的最多前MaxKeys个对象。 **取值范围：** 1\~1000，当超出范围时，按照默认的1000进行处理。 **默认取值：** 1000 | | Delimiter | string | 可选 | **参数解释：** 对象名按照此标识符进行分组。通常与prefix参数搭配使用，如果指定了prefix，从prefix到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes；如果没有指定prefix，从对象名的首字符到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes。 例如，并行文件系统中有3个对象，分别为abcd、abcde、bbcde。如果指定delimiter为d，prefix为a，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefixes；如果只指定delimiter为d，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefixes，而bbcde会被单独分成一组，形成一条前缀为bbcd的CommonPrefixes。 对于并行文件系统，不携带此参数时默认列举是递归列举此目录下所有内容，会列举子目录。在大数据场景下（目录层级深、目录下文件多）的列举，建议设置\[delimiter=/\]，只列举当前目录下的内容，不列举子目录，提高列举效率。 **约束限制：** 无 **取值范围：** 长度大于0且不超过1024的字符串。 **默认取值：** 无 | | EncodingType | string | 可选 | **参数解释：** 对响应中的部分元素进行指定类型的编码。如果Delimiter、Marker、Prefix、CommonPrefixes、NextMarker和Key包含xml 1.0标准不支持的控制字符（特殊字符），需设置该参数为url编码。 **约束限制：** 无 **取值范围：** 可选值为url。 **默认取值：** 无，不设置则不编码。 | #### 返回结果说明 表3返回结果列表 | **参数名称** | **参数类型** | **描述** | |:---|:---|:---| | output | \*[ListObjectsOutput] | **参数解释：** 列举并行文件系统内对象返回参数，详见[ListObjectsOutput]。 **取值范围：** 无 | | err | error | **参数解释：** 接口返回错误信息。 **取值范围：** 无 | 表4ListObjectsOutput | **参数名称** | **参数类型** | **描述** | |:---|:---|:---| | StatusCode | int | **参数解释：** HTTP状态码。 **取值范围：** 状态码是一组从2xx（成功）到4xx或5xx（错误）的数字代码，状态码表示了请求响应的状态。完整的状态码列表请参见[状态码](https://support.huaweicloud.com/api-obs/obs_04_0114.html)。 | | RequestId | string | **参数解释：** OBS服务端返回的请求ID。 **取值范围：** 无 | | ResponseHeaders | map\[string\]\[\]string | **参数解释：** HTTP响应头信息。 **取值范围：** 无 | | Location | string | **参数解释** **：** 并行文件系统所在的区域。 **约束限制：** 该参数定义了并行文件系统将会被创建在哪个区域，如果使用的终端节点是obs.myhuaweicloud.com，可以不携带此参数；如果使用的终端节点不是obs.myhuaweicloud.com，则必须携带此参数。 **取值范围：** 当前有效的OBS区域和终端节点的更多信息，请参考[地区和终端节点](https://developer.huaweicloud.com/endpoint?OBS)。终端节点即调用API的请求地址，不同服务不同区域的终端节点不同，您可以向企业管理员获取区域和终端节点信息。 **默认取值：** 终端节点为obs.myhuaweicloud.com且用户未设定区域时，默认为华北-北京一（cn-north-1）。 | | Name | string | **参数解释** **：** 并行文件系统名。 **约束限制：** - 并行文件系统命名规则如下： - 需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。用户删除桶后，立即创建同名桶或并行文件系统会创建失败，需要等待30分钟才能创建。 - 长度范围为3到63个字符，仅支持小写字母、数字、中划线（-）、英文句号（.）。 - 禁止两个英文句号（.）相邻，禁止英文句号（.）和中划线（-）相邻，禁止以英文句号（.）和中划线（-）开头或结尾。 - 禁止使用IP地址。 - 同一用户在同一个区域多次创建同名并行文件系统不会报错，创建的并行文件系统属性以第一次请求为准。 **取值范围：** 长度为3～63个字符。 | | Prefix | string | **参数解释：** 对象名的前缀，与请求中的该参数对应。 例如，假设您拥有以下对象：logs/day1、logs/day2、logs/day3和ExampleObject.jpg。如果您将logs/指定为前缀，将返回以字符串"logs/"开头的三个对象。如果您指定空的前缀且请求中没有其他过滤条件，将返回并行文件系统中的所有对象。 **取值范围：** 长度大于0且不超过1024的字符串。 | | Marker | string | **参数解释：** 列举对象的起始位置，与请求中的该参数对应。列举并行文件系统内对象列表时，指定一个标识符，从该标识符以后按对象名的字典顺序返回对象列表。 **约束限制：** 仅用于非多版本列举。 **取值范围：** 长度大于0且不超过1024的字符串。 | | Delimiter | string | **参数解释：** 对象名按照此标识符进行分组。通常与prefix参数搭配使用，如果指定了prefix，从prefix到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes；如果没有指定prefix，从对象名的首字符到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes。 例如，并行文件系统中有3个对象，分别为abcd、abcde、bbcde。如果指定delimiter为d，prefix为a，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefixes；如果只指定delimiter为d，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefixes，而bbcde会被单独分成一组，形成一条前缀为bbcd的CommonPrefixes。 对于并行文件系统，不携带此参数时默认列举是递归列举此目录下所有内容，会列举子目录。在大数据场景下（目录层级深、目录下文件多）的列举，建议设置\[delimiter=/\]，只列举当前目录下的内容，不列举子目录，提高列举效率。 **取值范围：** 长度大于0且不超过1024的字符串。 | | MaxKeys | int | **参数解释：** 列举对象的最大数目，与请求中的该参数对应。返回的对象列表将是按照字典顺序的最多前MaxKeys个对象。 **取值范围：** 1\~1000，当超出范围时，按照默认的1000进行处理。 **默认取值：** 1000 | | IsTruncated | bool | **参数解释：** 表明本次请求是否返回了全部结果。因为每次列举返回对象的数量上限是1000个，如果对象个数大于1000，则无法通过一次请求返回全部结果。 **取值范围：** true：表示没有返回全部结果。 false：表示已返回了全部结果。 | | NextMarker | string | **参数解释：** 下次列举对象请求的起始位置。如果本次没有返回全部结果，响应请求中将包含此字段，用于标明本次请求列举到的最后一个对象。后续请求可以指定Marker参数等于该值来列举剩余的对象。 **取值范围：** 长度大于0且不超过1024的字符串。 | | Contents | \[\][Content] | **参数解释：** 并行文件系统内对象列表，详见[Content]。 **取值范围**： 无 | | CommonPrefixes | \[\]string | **参数解释：** 当请求中设置了Delimiter分组字符时，返回按Delimiter分组后的对象名称前缀列表。 **取值范围：** 长度大于0且不超过1024的字符串。 | | EncodingType | string | **参数解释：** 对响应中的部分元素进行指定类型的编码。如果Delimiter、Marker、Prefix、CommonPrefixes、NextMarker和Key包含xml 1.0标准不支持的控制字符（特殊字符），需设置该参数为url编码。 **取值范围：** 可选值为url。 | 表5Content | **参数名称** | **参数类型** | **描述** | |:---|:---|:---| | Key | string | **参数解释：** 对象名。对象名是对象在存储并行文件系统中的唯一标识。对象名是对象在并行文件系统中的完整路径，路径中不包含并行文件系统名。 例如，您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中，对象名为folder/test.txt。 **取值范围：** 长度大于0且不超过1024的字符串 | | LastModified | time.Time | **参数解释：** 对象最近一次被修改的时间（UTC时间）。 **取值范围：** UTC时间 | | ETag | string | **参数解释：** 对象的base64编码的128位MD5摘要。ETag是对象内容的唯一标识，可以通过该值识别对象内容是否有变化。比如上传对象时ETag为A，下载对象时ETag为B，则说明对象内容发生了变化。ETag只反映变化的内容，而不是其元数据。上传的对象或拷贝操作创建的对象，都有唯一的ETag。 **约束限制：** 当对象是服务端加密的对象时，ETag值不是对象的MD5值。 **取值范围：** 长度为32的字符串。 | | Size | int64 | **参数解释：** 对象的字节数。 **取值范围：** 0\~48.8TB，单位：字节。 | | Owner | [Owner] | **参数解释：** 对象的所有者，包含对象拥有者DomainId和对象拥有者名称，详见[Owner]。 **取值范围：** 无。 | | StorageClass | string | **参数解释：** 对象的存储类型。 **取值范围：** 可选的存储类别详见[表6]。 | 表6StorageClassType | **常量名** | **原始值** | **说明** | |:---|:---|:---| | StorageClassStandard | STANDARD | 标准存储。 标准存储拥有低访问时延和较高的吞吐量，适用于有大量热点对象（平均一个月多次）或小对象（\<1MB），且需要频繁访问数据的业务场景。 | | StorageClassWarm | WARM | 低频访问存储。 低频访问存储适用于不频繁访问（平均一年少于12次）但在需要时也要求能够快速访问数据的业务场景。 | | StorageClassCold | COLD | 归档存储。 归档存储适用于很少访问（平均一年访问一次）数据的业务场景。 | | StorageClassDeepArchive | DEEP_ARCHIVE | 深度归档存储 适用于长期不访问（平均几年访问一次）数据的业务场景。 | 表7Owner | **参数名称** | **参数类型** | **是否必选** | **描述** | |:---|:---|:---|:---| | ID | string | 作为请求参数时必选 | **参数解释：** 所有者的账号ID，即domain_id。 **取值范围：** 如何获取账号ID请参见[如何获取账号ID和用户ID？](https://support.huaweicloud.com/sdk-go-devg-obs/obs_23_1712.html) | #### 代码示例 OBS本身是没有文件夹的概念的，并行文件系统中存储的元素只有对象。文件夹对象实际上是一个大小为0且对象名以"/"结尾的对象，将这个文件夹对象名作为前缀，即可模拟列举文件夹中对象的功能。以下代码展示如何列举文件夹中的对象： ``` package main import ( "fmt" "os" obs "github.com/huaweicloud/huaweicloud-sdk-go-obs/obs" ) func main() { // 您可以通过环境变量获取访问密钥AK/SK，也可以使用其他外部引入方式传入。如果使用硬编码可能会存在泄露风险。 // 您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html ak := os.Getenv("AccessKeyID") sk := os.Getenv("SecretAccessKey") // 【可选】如果使用临时AK/SK和SecurityToken访问OBS，同样建议您尽量避免使用硬编码，以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK，也可以使用其他外部引入方式传入。 // securityToken := os.Getenv("SecurityToken") // endpoint填写Bucket对应的Endpoint，这里以华北-北京四为例，其他地区请按实际情况填写。 endPoint := "https://obs.cn-north-4.myhuaweicloud.com" // 创建obsClient实例 // 如果使用临时AKSK和SecurityToken访问OBS，需要在创建实例时通过obs.WithSecurityToken方法指定securityToken值。 obsClient, err := obs.New(ak, sk, endPoint/*, obs.WithSecurityToken(securityToken)*/) if err != nil { fmt.Printf("Create obsClient error, errMsg: %s", err.Error()) } input := &obs.ListObjectsInput{} // 指定存储桶名称 input.Bucket = "examplebucket" // 指定返回的最大对象数，此处以 100 为例，返回的对象列表将是按照字典顺序的最多前max-keys个对象，默认值为1000。 input.MaxKeys = 100 // 指定对象名分组的分隔符，这里以/为例。 input.Delimiter = "/" // 列举桶内对象 output, err := obsClient.ListObjects(input) if err == nil { fmt.Printf("List objects under the bucket(%s) successful!\n", input.Bucket) fmt.Printf("RequestId:%s\n", output.RequestId) for index, val := range output.Contents { fmt.Printf("Content[%d]-OwnerId:%s, ETag:%s, Key:%s, LastModified:%s, Size:%d\n", index, val.Owner.ID, val.ETag, val.Key, val.LastModified, val.Size) } return } fmt.Printf("List objects under the bucket(%s) fail!\n", input.Bucket) if obsError, ok := err.(obs.ObsError); ok { fmt.Println("An ObsError was found, which means your request sent to OBS was rejected with an error response.") fmt.Println(obsError.Error()) } else { fmt.Println("An Exception was found, which means the client encountered an internal problem when attempting to communicate with OBS, for example, the client was unable to access the network.") fmt.Println(err) } } ``` #### 相关链接 - 列举并行文件系统内对象过程中返回的错误码含义、问题原因及处理措施可参考[OBS错误码](https://support.huaweicloud.com/api-obs/obs_04_0115.html#section1)。 - 并行文件系统更多资料请参见[并行文件系统概述](https://support.huaweicloud.com/usermanual-obs/obs_13_0007.html)。