文档首页/ 对象存储服务 OBS/ SDK参考/ Harmony（公测）/ 并行文件系统相关接口(Harmony SDK)/ 列举并行文件系统内对象(Harmony SDK)
更新时间：2024-11-19 GMT+08:00
查看PDF
分享

列举并行文件系统内对象(Harmony SDK)

功能介绍

调用列举并行文件系统内对象接口，可列举指定并行文件系统内的部分或所有对象的描述信息。您还可以通过设置前缀、数量、起始位置等参数，返回符合您筛选条件的对象信息。返回结果以对象名的字典序排序。

接口约束

  • 您必须是并行文件系统拥有者或拥有列举并行文件系统内对象的权限，才能列举并行文件系统内对象。建议使用IAM或策略进行授权，如果使用IAM则需授予obs:bucket:ListBucket权限，如果使用策略则需授予ListBucket权限。相关授权方式介绍可参见OBS权限控制概述，配置方式详见使用IAM自定义策略、自定义创建桶策略。
  • OBS支持的Region与Endpoint的对应关系，详细信息请参见地区与终端节点。
  • 每次接口调用最多返回1000个对象信息。

方法定义

listObjects(input: ListObjectsInput): Response<ListObjectsOutput>

请求参数

表1 请求参数列表

参数名称

参数类型

是否必选

描述

input

ListObjectsInput

必选

参数解释：

列举并行文件系统内对象接口入参，详情参考ListObjectsInput。
表2 ListObjectsInput

参数名称

参数类型

是否必选

描述

Bucket

string

必选

参数解释：

并行文件系统名。

约束限制：

  • 并行文件系统的名字需全局唯一，不能与已有的任何并行文件系统名称重复，包括其他用户创建的并行文件系统。
  • 并行文件系统命名规则如下：
    • 3～63个字符，数字或字母开头，支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻（如：“my..bucket”）。
    • 禁止“.”和“-”相邻（如：“my-.bucket”和“my.-bucket”）。
  • 同一用户在同一个区域多次创建同名并行文件系统不会报错，创建的并行文件系统属性以第一次请求为准。

默认取值：

无

Markers

string

可选

参数解释：

列举桶内对象列表时，指定一个标识符，从该标识符以后按对象名的字典顺序返回对象列表。

约束限制：

仅用于非多版本列举。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

Prefix

string

可选

参数解释：

限定返回的对象名必须带有指定前缀。

例如，假设您拥有以下对象：logs/day1、logs/day2、logs/day3和ExampleObject.jpg。如果您将logs/指定为前缀，将返回以字符串“logs/”开头的三个对象。如果您指定空的前缀且请求中没有其他过滤条件，将返回桶中的所有对象。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

MaxKeys

number

可选

参数解释：

列举对象的最大数目，返回的对象列表将是按照字典顺序的最多前MaxKeys个对象。

取值范围：

1~1000，当超出范围时，按照默认的1000进行处理。

默认取值：

1000

Delimiter

string

可选

参数解释：

对象名按照此标识符进行分组。通常与prefix参数搭配使用，如果指定了prefix，从prefix到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes；如果没有指定prefix，从对象名的首字符到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes。

例如，桶中有3个对象，分别为abcd、abcde、bbcde。如果指定delimiter为d，prefix为a，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefixes；如果只指定delimiter为d，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefixes，而bbcde会被单独分成一组，形成一条前缀为bbcd的CommonPrefixes。

对于并行文件系统，不携带此参数时默认列举是递归列举此目录下所有内容，会列举子目录。在大数据场景下（目录层级深、目录下文件多）的列举，建议设置[delimiter=/]，只列举当前目录下的内容，不列举子目录，提高列举效率。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

EncodingType

string

可选

参数解释：

对响应中的部分元素进行指定类型的编码。如果Delimiter、Marker、Prefix、CommonPrefixes、NextMarker和Key包含xml 1.0标准不支持的控制字符（特殊字符），需设置该参数为url编码。

取值范围：

可选值为url。

默认取值：

无，不设置则不编码。

返回结果

表3 返回结果

参数类型

描述

Response

说明：

该接口返回是一个Promise类型，需要使用Promise、async/await语法处理。

参数解释：

接口返回信息，详见Response。
表4 Response

参数名称

参数类型

描述

CommonMsg

ICommonMsg

参数解释：

接口调用完成后的公共信息，包含HTTP状态码，操作失败的错误码等，详见ICommonMsg。

InterfaceResult

ListObjectsOutput

参数解释：

操作成功后的结果数据，详见ListObjectsOutput。

约束限制：

当Status大于300时为空。
表5 ICommonMsg

参数名称

参数类型

描述

Status

number

参数解释：

OBS服务端返回的HTTP状态码。

取值范围：

状态码是一组从2xx（成功）到4xx或5xx（错误）的数字代码，状态码表示了请求响应的状态。完整的状态码列表请参见状态码。

Code

string

参数解释：

OBS服务端返回的错误码。

Message

string

参数解释：

OBS服务端返回的错误描述。

HostId

string

参数解释：

OBS服务端返回的请求服务端ID。

RequestId

string

参数解释：

OBS服务端返回的请求ID。

Id2

string

参数解释：

OBS服务端返回的请求ID2。

Indicator

string

参数解释：

OBS服务端返回的详细错误码。
表6 ListObjectsOutput

参数名称

参数类型

描述

RequestId

string

参数解释：

OBS服务端返回的请求ID。

默认取值：

无

Location

string

参数解释：

桶所在的区域。

约束限制：

该参数定义了桶将会被创建在哪个区域，如果使用的终端节点是obs.myhuaweicloud.com，可以不携带此参数；如果使用的终端节点不是obs.myhuaweicloud.com，则必须携带此参数。

取值范围：

当前有效的OBS区域和终端节点的更多信息，请参考地区和终端节点。终端节点即调用API的请求地址，不同服务不同区域的终端节点不同，您可以向企业管理员获取区域和终端节点信息。

默认取值：

终端节点为obs.myhuaweicloud.com且用户未设定区域时，默认为华北-北京一（cn-north-1）。

Name

string

参数解释：

桶名。

约束限制：

  • 桶的名字需全局唯一，不能与已有的任何桶名称重复，包括其他用户创建的桶。
  • 桶命名规则如下：
    • 3～63个字符，数字或字母开头，支持小写字母、数字、“-”、“.”。
    • 禁止使用IP地址。
    • 禁止以“-”或“.”开头及结尾。
    • 禁止两个“.”相邻（如：“my..bucket”）。
    • 禁止“.”和“-”相邻（如：“my-.bucket”和“my.-bucket”）。
  • 同一用户在同一个区域多次创建同名桶不会报错，创建的桶属性以第一次请求为准。

取值范围：

长度为3～63个字符。

Prefix

string

参数解释：

对象名的前缀，与请求中的该参数对应。

例如，假设您拥有以下对象：logs/day1、logs/day2、logs/day3和ExampleObject.jpg。如果您将logs/指定为前缀，将返回以字符串“logs/”开头的三个对象。如果您指定空的前缀且请求中没有其他过滤条件，将返回桶中的所有对象。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

Marker

string

参数解释：

列举对象的起始位置，与请求中的该参数对应。列举桶内对象列表时，指定一个标识符，从该标识符以后按对象名的字典顺序返回对象列表。

约束限制：

仅用于非多版本列举。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

Delimiter

string

参数解释：

对象名按照此标识符进行分组。通常与prefix参数搭配使用，如果指定了prefix，从prefix到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes；如果没有指定prefix，从对象名的首字符到第一次出现delimiter间具有相同字符串的对象名会被分成一组，形成一条CommonPrefixes。

例如，桶中有3个对象，分别为abcd、abcde、bbcde。如果指定delimiter为d，prefix为a，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefixes；如果只指定delimiter为d，abcd、abcde会被分成一组，形成一条前缀为abcd的CommonPrefixes，而bbcde会被单独分成一组，形成一条前缀为bbcd的CommonPrefixes。

对于并行文件系统，不携带此参数时默认列举是递归列举此目录下所有内容，会列举子目录。在大数据场景下（目录层级深、目录下文件多）的列举，建议设置[delimiter=/]，只列举当前目录下的内容，不列举子目录，提高列举效率。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

MaxKeys

number

参数解释：

列举对象的最大数目，与请求中的该参数对应。返回的对象列表将是按照字典顺序的最多前MaxKeys个对象。

取值范围：

1~1000，当超出范围时，按照默认的1000进行处理。

默认取值：

1000

IsTruncated

string

参数解释：

表明本次请求是否返回了全部结果。因为每次列举返回对象的数量上限是1000个，如果对象个数大于1000，则无法通过一次请求返回全部结果。

取值范围：

true：表示没有返回全部结果。

false：表示已返回了全部结果。

默认取值：

无

NextMarker

string

参数解释：

下次列举对象请求的起始位置。如果本次没有返回全部结果，响应请求中将包含此字段，用于标明本次请求列举到的最后一个对象。后续请求可以指定Marker参数等于该值来列举剩余的对象。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

Contents

Content[]

参数解释：

桶内对象列表，详见Content。

CommonPrefixes

CommonPrefix[]

参数解释：

当请求中设置了Delimiter分组字符时，返回按Delimiter分组后的对象名称前缀列表。

取值范围：

详见CommonPrefix。

默认取值：

无

EncodingType

string

参数解释：

对响应中的部分元素进行指定类型的编码。如果Delimiter、Marker、Prefix、CommonPrefixes、NextMarker和Key包含xml 1.0标准不支持的控制字符（特殊字符），需设置该参数为url编码。

取值范围：

可选值为url。

默认取值：

无
表7 Content

参数名称

参数类型

描述

Key

string

参数解释：

对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径，路径中不包含桶名。

例如，您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中，对象名为folder/test.txt。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无

LastModified

string

参数解释：

对象最近一次被修改的时间（UTC时间）。

约束限制：

日期格式必须为ISO8601的格式。 例如：2018-01-01T00:00:00.000Z，表示最后一次修改时间为2018-01-01T00:00:00.000Z。

默认取值：

无

ETag

string

参数解释：

对象的base64编码的128位MD5摘要。ETag是对象内容的唯一标识，可以通过该值识别对象内容是否有变化。比如上传对象时ETag为A，下载对象时ETag为B，则说明对象内容发生了变化。ETag只反映变化的内容，而不是其元数据。上传的对象或复制操作创建的对象，都有唯一的ETag。

约束限制：

当对象是服务端加密的对象时，ETag值不是对象的MD5值。

取值范围：

长度为32的字符串。

默认取值：

无

Size

number

参数解释：

对象的字节数。

取值范围：

0~48.8TB，单位：字节。

默认取值：

无

Owner

Owner

参数解释：

对象的所有者，包含对象拥有者DomainId和对象拥有者名称，详见Owner。

默认取值：

无。

StorageClass

StorageClassType

参数解释：

对象的存储类型。

取值范围：

可选的存储类别详见StorageClassType。

默认取值：

无

Type

string

参数解释：

对象的类型。

约束限制：

非Normal对象时返回该参数。

取值范围：

  • NORMAL：普通对象
  • APPENDABLE：追加写对象

默认取值：

无
表8 CommonPrefix

参数名称

参数类型

描述

Prefix

string

参数解释：

为桶内对象的前缀。

取值范围：

长度大于0且不超过1024的字符串。

默认取值：

无
表9 Owner

参数名称

参数类型

是否必选

描述

ID

string

作为请求参数时必选

参数解释：

所有者的账号ID，即domain_id。

取值范围：

如何获取账号ID请参见如何获取账号ID和用户ID？(Harmony SDK)

默认取值：

无

DisplayName

string

可选

参数解释：

所有者的账号用户名。

默认取值：

无
表10 StorageClassType

常量名

原始值

说明

STANDARD

STANDARD

标准存储。

标准存储拥有低访问时延和较高的吞吐量，适用于有大量热点对象（平均一个月多次）或小对象（<1MB），且需要频繁访问数据的业务场景。

WARM

WARM

低频访问存储。

低频访问存储适用于不频繁访问（平均一年少于12次）但在需要时也要求能够快速访问数据的业务场景。

COLD

COLD

归档存储。

归档存储适用于很少访问（平均一年访问一次）数据的业务场景。

DEEP_ARCHIVE

DEEP_ARCHIVE

深度归档存储（受限公测）。

适用于长期不访问（平均几年访问一次）数据的业务场景。

代码示例

本示例用于获取名为examplebucket并行文件系统下的对象列表，其中列举的是以test/ 开头的所有对象中的按照字典顺序的最多前100个对象，并且是从起始位置test/test2开始列举。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
 
// 引入依赖包
import ObsClient, { ListObjectsInput } from '@obs/esdk-obs-harmony';

// 创建ObsClient实例
const obsClient = new ObsClient({
  // 推荐通过环境变量获取AKSK，这里也可以使用其他外部引入方式传入，如果使用硬编码可能会存在泄露风险
  // 您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
  AccessKeyId: process.env.ACCESS_KEY_ID,
  SecretAccessKey: process.env.SECRET_ACCESS_KEY,
  // 【可选】如果使用临时AK/SK和SecurityToken访问OBS，同样建议您尽量避免使用硬编码，以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK，也可以使用其他外部引入方式传入
  // SecurityToken: process.env.SECURITY_TOKEN,
  // Server填写Bucket对应的Endpoint, 这里以华北-北京四为例，其他地区请按实际情况填写
  Server: "https://obs.cn-north-4.myhuaweicloud.com",
});

async function listObjects() {
  try {
    const params: ListObjectsInput = {
      // 指定并行文件系统名称
      Bucket: "examplebucket",
      // 指定列举对象前缀，此处以“test/”前缀为例，满足指定前缀的对象会被列举
      Prefix: "test/",
      // 指定返回的最大对象数，此处以 100 为例，返回的对象列表将是按照字典顺序的最多前max-keys个对象，默认值为1000
      MaxKeys: 100,
      // 指定对象名分组的分隔符，这里以/为例。
      Delimiter: "/",
      // 指定列举对象的起始位置，此处以“test/test2”为例
      Marker: "test/test2",
      // 指定编码方式，此处以“url”为例，如果列举对象中存在特殊字符，则该参数必传
      EncodingType: "url"
    };
    // 列举桶内对象
    const result = await obsClient.listObjects(params);
    if (result.CommonMsg.Status <= 300) {
      console.log("List objects under the bucket(%s) successful!", params.Bucket);
      console.log("RequestId: %s", result.CommonMsg.RequestId);
      for (let j = 0; j < result.InterfaceResult.Contents.length; j++) {
        const val = result.InterfaceResult.Contents[j];
        console.log('Content[%d]-OwnerId:%s, ETag:%s, Key:%s, LastModified:%s, Size:%d',
          j, val.Owner.ID, val.ETag, val.Key, val.LastModified, val.Size);
      }
      return;
    }
    console.log("An ObsError was found, which means your request sent to OBS was rejected with an error response.");
    console.log("Status: %d", result.CommonMsg.Status);
    console.log("Code: %s", result.CommonMsg.Code);
    console.log("Message: %s", result.CommonMsg.Message);
    console.log("RequestId: %s", result.CommonMsg.RequestId);
  } catch (error) {
    console.log("An Exception was found, which means the client encountered an internal problem when attempting to communicate with OBS, for example, the client was unable to access the network.");
    console.log(error);
  }
}

listObjects();

相关链接

相关文档