文档首页/ 对象存储服务 OBS/ SDK参考/ Node.js/ 对象相关接口(Node.js SDK)/ 基础操作(Node.js SDK)/ 下载对象(Node.js SDK)/ 批量下载对象(Node.js SDK)
更新时间：2026-07-13 GMT+08:00
查看PDF
分享

批量下载对象(Node.js SDK)

开发过程中，您有任何问题可以在GitHub上提交issue，或者在华为云对象存储服务论坛中发帖求助。

您可以通过以下接口在下载时使用批量操作：

示例代码

本示例用于批量下载OBS桶中的对象到本地目录。您可以通过列举满足前缀条件的对象， 再以指定并发数并发下载，文件按原Key结构保存到本地目录，适用于批量导出、离线备份等场景。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
 
// 引入obs库
// 使用npm安装
const ObsClient = require("esdk-obs-nodejs");
// 使用源码安装
// var ObsClient = require('./lib/obs');

// 创建ObsClient实例
const obsClient = new ObsClient({
  // 推荐通过环境变量获取AKSK，这里也可以使用其他外部引入方式传入，如果使用硬编码可能会存在泄露风险
  // 您可以登录访问管理控制台获取访问密钥AK/SK，获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html
  access_key_id: process.env.ACCESS_KEY_ID,
  secret_access_key: process.env.SECRET_ACCESS_KEY,
  // 【可选】如果使用临时AK/SK和SecurityToken访问OBS，同样建议您尽量避免使用硬编码，以降低信息泄露风险。您可以通过环境变量获取访问密钥AK/SK，也可以使用其他外部引入方式传入
  // security_token: process.env.SECURITY_TOKEN,
  // endpoint填写Bucket对应的Endpoint, 这里以华北-北京四为例，其他地区请按实际情况填写
  server: "https://obs.cn-north-4.myhuaweicloud.com",
});

// 本地保存目录
const localSaveDir = "./downloads";
/**
 * 批量下载对象
 * 先列举对象，再逐个下载
 */
async function batchDownload() {
  try {
    const bucketName = "examplebucket";
    const prefix = "test/";
    const params = {
      Bucket: bucketName,
      Prefix: prefix,
      EncodingType: "url",
    };
    // 确保本地保存目录存在
    if (!fs.existsSync(localSaveDir)) {
      fs.mkdirSync(localSaveDir, { recursive: true });
    }
    // 列举需要下载的对象
    let objectsToDownload = [];
    while (true) {
      const listResult = await obsClient.listObjects(params);
      if (listResult.CommonMsg.Status > 300) {
        console.log("列举对象失败: Status=%d, Code=%s, Message=%s",
          listResult.CommonMsg.Status, listResult.CommonMsg.Code, listResult.CommonMsg.Message);
        return;
      }
      if (listResult.InterfaceResult.Contents && listResult.InterfaceResult.Contents.length > 0) {
        objectsToDownload = objectsToDownload.concat(listResult.InterfaceResult.Contents);
      }
      if (listResult.InterfaceResult.IsTruncated === "true") {
        params.Marker = listResult.InterfaceResult.NextMarker;
      } else {
        break;
      }
    }
    console.log(`共找到 ${objectsToDownload.length} 个对象，开始批量下载...`);
    // 使用Promise.allSettled并行下载（限制并发数避免资源耗尽）
    const concurrency = 5; // 并发数
    let completed = 0;
    let successCount = 0;
    let failCount = 0;
    for (let i = 0; i < objectsToDownload.length; i += concurrency) {
      const batch = objectsToDownload.slice(i, i + concurrency);
      const downloadPromises = batch.map(async (obj) => {
        const downloadParams = {
          Bucket: bucketName,
          Key: obj.Key,
          SavePath: path.join(localSaveDir, decodeURIComponent(obj.Key)),
        };
        const result = await obsClient.getObject(downloadParams);
        if (result.CommonMsg.Status <= 300) {
          console.log(`[${++completed}/${objectsToDownload.length}] 对象 [${obj.Key}] 下载成功`);
          return true;
        } else {
          console.log(`[${++completed}/${objectsToDownload.length}] 对象 [${obj.Key}] 下载失败: ${result.CommonMsg.Message}`);
          return false;
        }
      });
      const results = await Promise.allSettled(downloadPromises);
      results.forEach((r) => {
        if (r.status === "fulfilled" && r.value) {
          successCount++;
        } else {
          failCount++;
        }
      });
    }
    console.log(`批量下载完成: 成功 ${successCount} 个, 失败 ${failCount} 个`);
  } catch (error) {
    console.log("客户端异常:");
    console.log(error);
  }
}
batchDownload();

相关文档