对象存储迁移服务 OMS对象存储迁移服务 OMS

计算
弹性云服务器 ECS
裸金属服务器 BMS
云手机 CPH
专属主机 DeH
弹性伸缩 AS
镜像服务 IMS
函数工作流 FunctionGraph
云耀云服务器 HECS
VR云渲游平台 CVR
特惠算力专区
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
弹性文件服务 SFS
存储容灾服务 SDRS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属企业存储服务
云存储网关 CSG
专属分布式存储服务 DSS
CDN与智能边缘
内容分发网络 CDN
智能边缘云 IEC
智能边缘小站 IES
智能边缘平台 IEF
人工智能
AI开发平台ModelArts
华为HiLens
图引擎服务 GES
图像识别 Image
文字识别 OCR
自然语言处理 NLP
内容审核 Moderation
图像搜索 ImageSearch
医疗智能体 EIHealth
园区智能体 CampusGo
企业级AI应用开发专业套件 ModelArts Pro
人脸识别服务 FRS
对话机器人服务 CBS
视频分析服务 VAS
语音交互服务 SIS
知识图谱 KG
人证核身服务 IVS
IoT物联网
设备接入 IoTDA
设备管理 IoTDM(联通用户专用)
全球SIM联接 GSL
IoT开发者服务
IoT数据分析
车联网服务 IoV
路网数字化服务 DRIS
IoT边缘 IoTEdge
设备发放 IoTDP
开发与运维
软件开发平台 DevCloud
项目管理 ProjectMan
代码托管 CodeHub
流水线 CloudPipeline
代码检查 CodeCheck
编译构建 CloudBuild
部署 CloudDeploy
云测 CloudTest
发布 CloudRelease
移动应用测试 MobileAPPTest
CloudIDE
Classroom
开源镜像站 Mirrors
应用魔方 AppCube
云性能测试服务 CPTS
应用管理与运维平台 ServiceStage
云应用引擎 CAE
视频
实时音视频 SparkRTC
视频直播 Live
视频点播 VOD
媒体处理 MPC
视频接入服务 VIS
管理与监管
统一身份认证服务 IAM
消息通知服务 SMN
云监控服务 CES
应用运维管理 AOM
应用性能管理 APM
云日志服务 LTS
云审计服务 CTS
标签管理服务 TMS
资源管理服务 RMS
应用身份管理服务 OneAccess
区块链
区块链服务 BCS
可信跨链服务 TCS
智能协作
IdeaHub
开发者工具
SDK开发指南
API签名指南
DevStar
HCloud CLI
Terraform
Ansible
API问题定位指导
云生态
云市场
合作伙伴中心
华为云培训中心
其他
管理控制台
消息中心
产品价格详情
系统权限
我的凭证
客户关联华为云合作伙伴须知
公共问题
宽限期保留期
奖励推广计划
活动
容器
云容器引擎 CCE
云容器实例 CCI
容器镜像服务 SWR
应用编排服务 AOS
多云容器平台 MCP
基因容器 GCS
容器洞察引擎 CIE
云原生服务中心 OSC
容器批量计算 BCE
容器交付流水线 ContainerOps
应用服务网格 ASM
网络
虚拟私有云 VPC
弹性公网IP EIP
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
虚拟专用网络 VPN
云连接 CC
VPC终端节点 VPCEP
数据库
云数据库 RDS
数据复制服务 DRS
文档数据库服务 DDS
分布式数据库中间件 DDM
云数据库 GaussDB (for openGauss)
云数据库 GaussDB(for MySQL)
云数据库 GaussDB NoSQL
数据管理服务 DAS
数据库和应用迁移 UGO
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
可信智能计算服务 TICS
推荐系统 RES
云搜索服务 CSS
数据可视化 DLV
数据湖治理中心 DGC
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
应用中间件
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
API网关 APIG
分布式缓存服务 DCS
分布式消息服务RocketMQ版
企业应用
域名注册服务 Domains
云解析服务 DNS
云速建站 CloudSite
网站备案
华为云WeLink
会议
隐私保护通话 PrivateNumber
语音通话 VoiceCall
消息&短信 MSGSMS
云管理网络
SD-WAN 云服务
边缘数据中心管理 EDCM
云桌面 Workspace
应用与数据集成平台 ROMA Connect
ROMA资产中心 ROMAExchange
API全生命周期管理 ROMA API
安全与合规
安全技术与应用
DDoS防护 ADS
Web应用防火墙 WAF
云防火墙 CFW
应用信任中心 ATC
企业主机安全 HSS
容器安全服务 CGS
云堡垒机 CBH
数据库安全服务 DBSS
数据加密服务 DEW
数据安全中心 DSC
云证书管理服务 CCM
SSL证书管理 SCM
漏洞扫描服务 VSS
态势感知 SA
威胁检测服务 MTD
管理检测与响应 MDR
安全治理云图 Compass
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
专属云
专属计算集群 DCC
解决方案
高性能计算 HPC
SAP
游戏云
混合云灾备
华为工业云平台 IMC
价格
成本优化最佳实践
专属云商业逻辑
用户服务
帐号中心
费用中心
成本中心
资源中心
企业管理
工单管理
客户运营能力
国际站常见问题
支持计划
专业服务
合作伙伴支持计划
更新时间:2021-09-24 GMT+08:00
分享

创建迁移任务

操作场景

使用对象存储迁移服务创建对象存储任务,对您的对象数据实施迁移。

背景信息

对象存储迁移服务支持以下的源端云服务商或数据源类型:

  • 华为云
  • 亚马逊云(中国)
  • 阿里云
  • 微软云
  • 腾讯云
  • 七牛云
  • 青云
  • 百度云
  • 金山云
  • 优刻得
  • HTTP/HTTPS数据源

迁移过程中,对象存储迁移服务会调用源端云服务提供商的对象存储服务接口,所产生的费用都遵从源端云服务提供商的计费规则并由其向您收取。

前提条件

  • 已获取源端和目的端账号的AK/SK。
    • 源端桶对应账户需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容。获取方式参见源端桶权限获取
    • 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方式参见目的端桶权限获取
  • 已在OBS服务中创建桶。
  • 您过去24小时内已创建的迁移任务未满5000个。
  • 您名下处于“等待中”状态的迁移任务未满5000个。
  • 已在华为云注册账号,并完成实名认证。

操作步骤

  1. 登录管理控制台。
  2. 单击管理控制台左上角的,在下拉框中选择区域。
  3. 单击“服务列表”,选择“迁移 > 对象存储迁移服务”。

    进入“对象存储迁移服务”页面。

  4. 单击 “创建迁移任务”

    仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入“创建迁移任务”页面。

  5. 选择源端/目的端。

    1. 选择源端,具体参数参见表1
      表1 源端选择参数

      参数

      说明

      数据源

      待迁移的源端云服务提供商。

      (可选)appID

      当源端云服务提供商为腾讯云,则需要输入该参数,appID 是您腾讯云帐户的一个标识。

      访问密钥

      源端云服务提供商的访问密钥(AK)。最大长度是100个字符。

      私有访问密钥

      源端云服务提供商的私有访问密钥(SK),与AK相匹配。最大长度是100个字符。

      是否指定桶名

      当您不具备列举桶权限,但具有列举桶中对象、获取对象元数据和获取对象权限时可以开启此参数,通过指定源端桶的路径来进行迁移。

      设置说明参见表2

      表2 “是否指定桶名”的设置说明

      如果...

      那么...

      开启“是否指定桶名”

      1. “选择区域”下拉框中选择源端桶所在区域。
      2. “桶名或路径”文本框中输入源端桶名或带桶名的路径。
      3. 单击“连接源端桶”
        说明:

        对象存储迁移服务将检查源端信息填写是否正确。如果填写正确,会提示连接桶成功。

      关闭“是否指定桶名”(默认设置)

      1. 单击“连接源端桶”

        对象存储迁移服务将检查源端信息填写是否正确。如果填写正确,且您的账号具有列举桶名的权限,则会在“桶名”中列举您名下的所有桶。

      2. “桶名”中选择待迁移数据所在的桶。
      说明:

      当源端AK/SK没有列举桶权限时,需要开启“是否指定桶名”。

    2. 选择目的端,具体参数参见表3
      表3 目的端选择参数

      参数

      说明

      访问密钥

      华为云的访问密钥(AK)。最大长度是100个字符。

      私有访问密钥

      华为云的私有访问密钥(SK),与AK相匹配。最大长度是100个字符。

      输入访问密钥和私有访问密钥后,请单击“连接目的端桶”

      桶名

      存放迁移数据的华为云OBS桶。

  6. 单击“下一步”,设置任务参数。
  7. 选择迁移方式。

    如果...

    那么...

    选择文件/文件夹

    单击“选择”,选择待迁移的文件或文件夹后,单击“确定”。对于已选择的文件或文件夹,您可以单击从迁移对象列表中删除。
    说明:
    • 如果选择的云服务提供商为七牛,则不支持选择文件/文件夹。
    • 若不设置该参数,则默认迁移全桶数据。
    • 针对每个迁移任务,在同一目录层级下,您最多可以选择500个文件或文件夹。
    • 由于OBS服务的规格限制,请确认对象迁移到目的端后的名称不超过1024个字符,否则将导致任务失败。

    指定对象列表

    指定对象列表方式,一般用于增量迁移场景,用户需要将待迁移的源端对象名称写入对象列表文件,并将生成的对象列表文件放在华为云obs桶中,对象存储迁移服务将会迁移指定对象列表文件中的所有对象。

    1. 选择“列表文件所在桶(华为云)”。
      说明:

      此参数中列出的桶是通过5.b中输入的目的端AK/SK得到的桶列表。

      请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表文件。

    2. 在“对象列表文件”区域内单击“选择”,选择用户指定的对象列表文件,单击“确定”
    说明:
    • 对象列表文件大小不能超过1024MB。
    • 对象列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。
    • 对象列表文件必须是UTF-8无BOM格式编码格式。
    • 对象列表文件中每行只能包含一个对象名称,并且对象名称使用URL Encode编码
    • 对象列表文件中每行不要添加无效空格,否则会将空格作为对象名,导致迁移失败。
    • 对象列表文件中每行长度不要超过65535,否则会导致迁移失败。
    • 对象列表文件的元数据中不能设置“ContentEncoding”,否则会导致迁移失败。
    • 对象列表文件如果是归档数据,迁移前需要先手动恢复,对象存储迁移服务才能访问和获取。

    输入对象前缀

    在“添加对象数据”区域内输入对象数据名称或者名称前缀,系统会自动匹配出数据。您可以单击,从这些匹配到的迁移数据列表中删除不需要迁移的数据。

    说明:

    若不添加该参数,则默认迁移全桶的数据。

    指定URL列表

    指定URL列表方式,一般适用于HTTP或HTTPS源端的迁移场景,用户需要将待迁移的文件URL和目的端对象名称写入URL列表文件,并将生成的URL列表文件放在华为云OBS桶中,对象存储迁移服务将会迁移指定URL列表文件中的所有对象。

    1. 选择“列表文件所在桶(华为云)”。
      说明:
      • 此参数中列出的桶是通过5.b中输入的目的端AK/SK得到的桶列表。
      • 请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表文件。
      • 出于安全考虑,若您的源端同时支持HTTP和HTTPS协议,建议迁移时使用HTTPS协议;若使用HTTP协议,会存在数据可能会被监听窃取、数据被篡改、中间人重放攻击等风险。
      • 如果待迁移内容为非公开内容时,建议不要将源端数据公开,采用其他非HTTP/HTTPS方式进行迁移。
      • URL列表迁移不支持URL重定向。
    2. 在“选择URL列表文件”区域内单击“选择”,选择用户指定的URL列表文件,单击“确定”。
      说明:
      • URL列表文件大小不能超过1024MB。
      • URL列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。
      • URL列表文件必须是UTF-8无BOM格式编码格式。
      • URL列表文件中每行只能包含一个URL和目的端对象名称。
      • URL列表文件中每行长度不要超过65535,否则会导致迁移失败。
      • URL列表文件的元数据中不能设置“ContentEncoding”,否则会导致迁移失败。
      • URL列表文件中每行使用制表符\t分割URL和目的端对象名称,格式为:[URL][制表符][目的端对象名称],其中源端对象名称如果包含中文、特殊字符必须使用URL Encode编码,例如:
        http://xxx.obs.myhuaweicloud.com/doc%2f%e6%96%87%e4%bb%b61.txt doc%2f%e6%96%87%e4%bb%b61.txt
        http://xxx.obs.myhuaweicloud.com/doc%2fthefile2.txt doc%2fthefile2.txt
        http://xxx.obs.myhuaweicloud.com/the%20file.txt	the%20file.txt
        http://xxx.obs.myhuaweicloud.com/the%20file2.txt	the+file2.txt
        http://xxx.obs.myhuaweicloud.com/doc%2fthefile.txt doc/thefile.txt

        注意:URL与目的端对象名称之间使用一个制表符(键盘上Tab键)进行分割,请勿使用空格。

        以上示例中,URL所表示的文件,被复制到目的端桶后,对象会被分别命名为:doc/文件doc/thefile2.txt、the file.txt、the file2.txt以及doc/thefile.txt。

      • URL列表文件中每行不要添加无效空格,否则会将空格作为对象名,导致迁移失败。

  8. (可选)设置“源端参数”

    当您的源端云服务提供商提供了表4中首列相应的功能时,才会出现此部分参数。
    表4 源端参数

    参数

    说明

    源端使用自定义域名下载

    当默认域名不能满足您的迁移需求,比如您需要一个自定义域名以便使用CDN降低源端出口下载流量的费用,且您的源端云服务提供商支持自定义域名时,可以勾选此选项。

    说明:
    • 如果使用了防盗链,建议关闭防盗链或联系华为云技术支持。
    • 当源端云服务提供商是七牛云时,因其对默认域名的使用做了限制,为确保您的迁移顺利进行,系统已为您自动勾选此参数。

    勾选此选项后,进行如下设置:

    1. “自定义域名传输协议”中选择传输协议。
      说明:

      HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。

      如果待迁移内容为非公开内容时,建议不要将源端数据公开,采用其他非HTTP/HTTPS方式进行迁移。

    2. 填写“桶自定义域名”
    3. 如果您使用了源端云服务提供商提供的CDN鉴权,则选择“启用CDN鉴权校验”,并配置校验类型和秘钥。
      说明:
      • 您需要参见源端云服务提供商的相关资料配置CDN后,才能使用CDN相关功能。
      • 使用源端CDN产生的费用遵从源端云服务提供商的计费规则,费用由源端云服务提供商向您收取。
      • 不支持URl重定向。
    4. 单击“检查”,检查配置是否正确。
      • 如果检查未通过,请单击“详情”查看未通过的原因。
      • 如果检查通过,则可继续进行其他迁移配置。

    解冻归档数据

    归档类型的对象存储要实现迁移,必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时,可以勾选此选项。

    • 勾选:如果遇到归档类型对象,则自动解冻该对象并进行迁移。如果解冻失败,则判定该对象迁移失败并跳过,继续迁移其余对象。
    • 不勾选:如果遇到归档类型对象,则直接判定该对象迁移失败并跳过,继续迁移其余对象。
    说明:
    • 目前支持以下云服务提供商的归档数据的自动解冻:华为云、阿里云、金山云、腾讯云。
    • 解冻预计耗时1分钟及以上,对象越大解冻耗时越长,超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异,具体请参考各云服务提供商的相关文档。
    • 解冻归档数据的过程中会产生两种费用,一是API调用费用,二是归档数据取回费用,这些均由源端云服务提供商向您收取。
    • 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。
    • 对象存储数据从源端云服务提供商迁移到华为云后,存储类型和目的端桶的存储类型保持一致,与源端对象存储类型无关。

  9. 单击“高级选项”后面“展开”,展开高级选项参数。
  10. (可选)设置高级选项参数。

    表5 高级选项参数

    参数

    说明

    服务端加密

    如果勾选“KMS”,对迁移数据进行KMS服务端加密后再存储至目的OBS桶中。
    说明:

    使用KMS服务端加密可能会降低迁移速率10%左右。

    当前区域支持KMS加密时,此参数方可用。

    记录失败对象

    选择是否记录迁移失败的对象。

    • 选择“否”,则不记录迁移失败的对象。如果迁移失败,只能全量重传。
    • 选择“是”,记录迁移失败的对象。如果迁移失败,支持只对迁移失败对象进行重传。
    说明:

    迁移失败的对象将被记录在一个以任务名称命名的失败对象列表文件中,普通任务和任务组任务都会上传到目的端桶的“oms/failed_object_lists/”路径下。

    该文件记录了迁移任务失败的摘要信息,包括:失败原因、发生时间(参照当前区域所属时区)、失败对象(经过URL编码)、失败对象(未经过URL编码)、源端SDK返回的错误码。

    当迁移失败对象重传成功后,失败对象列表文件仍会保留在目的端。您如果不再需要该文件,请手动删除。

    迁移指定时间后的对象

    选择是否使用时间过滤源端待迁移对象。

    • 选择“否”,不过滤源端待迁移对象。
    • 选择“是”,仅迁移在指定时间之后修改的源端待迁移对象。需要单击,设置迁移指定时间。

    发送通知

    选择是否使用SMN消息通知功能,该功能可以通知您迁移任务的结果。
    • 选择“否”,不接收SMN消息。
    • 选择“是”,接收SMN消息。

      需要执行以下步骤:

      1. 单击“SMN主题”所在行的“添加”,弹出“选择SMN主题”对话框。
      2. 选择接收SMN消息的主题,单击“确定”完成选择。

        如果您所选的SMN主题没有对对象存储迁移服务授权,单击“确定”则会弹出“警告”对话框。如果需要授权,请单击“是”为对象存储迁移服务授权,否则请单击“否”返回“选择SMN主题”页面,选择其他SMN主题。

      3. 设置“触发条件”参数。您可以只勾选其中一个参数或者两个参数都勾选。
      • “迁移成功”表示迁移任务成功时发送SMN消息通知。
      • “迁移失败”表示迁移任务失败时发送SMN消息通知。
      说明:

      如果您无法正常使用SMN消息通知功能,请参见SMN消息通知功能无法正常使用怎么办?

    流量控制

    设置迁移任务在指定时段的最大流量带宽。

    • 选择“否”,不进行流量控制。
    • 选择“是”,进行流量控制。

      需要执行以下步骤:

      1. 单击“新增流量控制”。

        下方新增一条规则记录。

      2. 在“开始时间”、“结束时间”和“限制最大流量”文本框中输入数值。

        限制最大流量的数值范围:1~ 200MB/s 。

      3. 重复1. ~2. ,增加新的流量控制规则。

        您也可以单击“操作”栏的,删除本行记录。

        说明:

        最多可以创建5条记录。

        即使在创建任务后,您也可以在任务详情中继续设置流量控制规则。

    描述

    输入本次迁移任务的简单描述信息。

    最多可输入255个字符。

  11. 单击“下一步”,进入确认信息页面。
  12. 确认迁移信息的设置,并启动迁移。

    1. 浏览各项迁移参数的设置是否正确。

      如果有误,可以单击“上一步”返回之前的页面进行修改。

    2. 单击“开始迁移”

      提示创建迁移任务成功。查看迁移任务列表已新增该任务。

      关于迁移任务状态,参见查看迁移任务

      任务创建后,会生成一个任务ID供您快速识别。它显示在列表中任务的左上角,由源端桶名+目的端桶名+时间序列标识拼接而成。

分享:

    相关文档

    相关产品

关闭导读