更新时间:2022-04-18 GMT+08:00
分享

背景信息

本教程讲解了如何将腾讯云对象存储(Cloud Object Storage,简称COS)上的数据迁移到华为云对象存储 OBS。

华为云对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数据迁移服务,可以帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object Storage Service,OBS)中,也可以在对象存储 OBS 之间进行灵活的数据迁移。

使用华为云对象存储迁移服务,您只需在控制台填写源端数据地址和目的端 OBS 地址信息,并创建迁移任务或创建迁移任务组即可(迁移任务与迁移任务组的区别参见迁移任务与迁移任务组的适用场景是什么?)。启动迁移后,您可以通过控制台查看迁移任务,管理迁移任务。

  • 2022年7月1日前,对象存储迁移服务(OMS)处于免费期,免费期结束后服务将根据您累计使用的迁移流量进行收费,计费方式简单灵活、易于预测。具体费用详情,请参见产品价格详情。迁移过程中会调用源端和目的端的对象存储服务的API进行数据的上传、下载,所以会产生一定的API请求及下载流量费用,具体费用说明请参见计费说明

割接方案

如涉及业务割接,请参考割接方案最佳实践

约束与限制

OMS迁移任务限制参见下表。

表1 OMS迁移任务限制

类别

限制

多版本对象迁移

OMS默认只迁移源端多版本对象中的最新版本,不支持迁移历史版本的对象存储数据。

元数据迁移

OMS当前针对对象元数据迁移只支持Http协议标准请求头:ContentType。

迁移任务

同一用户,单个Region内并发任务数最大为5。

说明:

假设分别迁移对象存储数据到华北-北京一和华南-广州时,总并发数为5*2=10个。

24小时内,单个Region内最多创建迁移任务数为5000个。

迁移任务组

同一用户,单个Region内并发任务组数最大为5。

说明:

假设分别迁移对象存储数据到华北-北京一和华南-广州时,总并发数为5*2=10个。

同步任务

同步任务和迁移任务、迁移任务组共用配额,优先于迁移任务、迁移任务组下发。

并发执行同步中的任务数量最多为5个。

对象列表文件

  • 对象列表文件大小不能超过1024MB。
  • 对象列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。
  • 对象列表文件必须是UTF-8无BOM格式编码格式。
  • 对象列表文件中每行只能包含一个对象名称,并且对象名称使用URL Encode编码。
  • 对象列表文件中每行不要添加无效空格,否则会将空格作为对象名,导致迁移失败。
  • 对象列表文件中每行长度不要超过65535,否则会导致迁移失败。
  • 对象列表文件的元数据中不能设置“ContentEncoding”,否则会导致迁移失败。

URL列表文件

  • URL列表文件大小不能超过1024MB。
  • URL列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。
  • URL列表文件必须是UTF-8无BOM格式编码格式。
  • URL列表文件中每行只能包含一个URL和目的端对象名称。
  • URL列表文件中每行长度不要超过65535,否则会导致迁移失败。
  • URL列表文件的元数据中不能设置“ContentEncoding”,否则会导致迁移失败。
  • URL列表文件中每行不要添加无效空格,否则会将空格作为对象名,导致迁移失败。
  • URL列表文件中每行使用制表符\t分割URL和目的端对象名称,格式为:[URL][制表符][目的端对象名称],其中源端对象名称如果包含中文、特殊字符必须使用URL Encode编码;目的端对象名称如果包含中文、特殊字符也需要使用URL Encode编码。例如:
    http://xxx.xxx.xxx.xxx.com/doc%2f%e6%96%87%e4%bb%b61.txt doc%2f%e6%96%87%e4%bb%b61.txt
    http://xxx.xxx.xxx.xxx.com/doc%2fthefile2.txt doc%2fthefile2.txt
    http://xxx.xxx.xxx.xxx.com/the%20file.txt the%20file.txt
    http://xxx.xxx.xxx.xxx.com/the%20file2.txt the+file2.txt
    http://xxx.xxx.xxx.xxx.com/doc%2fthefile.txt doc/thefile.txt
    注意:

    URL与目的端对象名称之间使用一个制表符(键盘上Tab键)进行分割,请勿使用空格。

    以上示例中,URL所表示的文件,被复制到目的端桶后,对象会被分别命名为:doc/文件doc/thefile2.txt、the file.txt、the file2.txt以及doc/thefile.txt。

失败对象列表文件

单个任务失败对象列表最多记录10万个失败对象。

说明:

失败对象超过10万个的场景,建议基于已有失败对象列表,分析处理后重新迁移。

分享:

    相关文档

    相关产品

close