快速创建指定文件或文件夹迁移任务
应用场景
对象存储迁移服务(Object Storage Migration Service,OMS)是一种线上数据迁移服务,为了帮助您将其他云服务商对象存储服务中的数据在线迁移至华为云的对象存储服务(Object Storage Service,OBS)中。可以使用指定文件或文件夹方式创建对象存储任务,对您的对象数据实施迁移。
本文以如下配置为例,介绍创建指定文件夹迁移任务的操作指导。
- 源端:华为云
- 目的端:华为云
- 迁移方式:选择文件/文件夹迁移方式
- 目的端配置:默认配置
- OMS默认会将等待超过30天未调度的任务自动设置为失败,并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中,请控制创建任务的频率。
- 如果单个对象大小超过500G,建议您通过提交工单的方式,开通并发分片白名单配置,提升迁移速率。
- 在迁移过程中,系统将自动在目的端桶创建一个名为“OMS”的临时文件夹。严禁手动操作此文件夹,包括但不限于修改、删除或添加内容。对该文件夹进行的任何手动操作都可能导致迁移流程中断或失败。
操作视频
操作流程
|
操作步骤 |
说明 |
|---|---|
|
注册华为账号并开通华为云,实名认证,获取OMS的权限,源端和目的端账号的AK、SK。 |
|
|
基于文件数量和迁移总量,预测迁移任务所需的时长。可以帮您更好地规划迁移计划,确保业务在迁移过程中不受影响。 |
|
|
选择需要迁移的目的端和源端,填入对应的参数。 |
|
|
介绍通过选择文件/文件夹迁移方式配置任务参数,创建迁移任务。 |
准备工作
使用对象存储迁移服务前,您需要先完成以下准备工作。
- 注册华为账号并开通华为云,完成实名认证。
- 添加OMS权限。
- 获取源端和目的端账号的AK/SK。
- 在OBS服务中创建桶,桶名:1216testobsbucket。创建文件夹,文件夹名:BigData。
- 您过去24小时内已创建的迁移任务未满1,000,000个。
- 您名下该账号处于“等待中”状态的迁移任务未满1,000,000个。
步骤一:迁移前评估
- 登录OMS管理控制台。
- 单击管理控制台左上角的
,在下拉框中选择区域。 - 在总览页面单击“创建迁移任务”。
仔细阅读弹出的服务声明,勾选“同意以上服务声明”,单击“确定”,进入“创建迁移任务”页面。
- “迁移前评估”选择“关闭”,不执行迁移前评估。
步骤二:选择源端和目的端参数
- 根据界面提示选择源端参数,如图1所示,具体参数参见表1。
表1 源端选择参数 参数
示例
说明
源端数据源
华为云
待迁移的源端云服务提供商。
源端访问密钥(Access Key)
华为云的有效AK
源端云服务提供商的访问密钥(AK)。最大长度是100个字符。
源端私有访问密钥(Secret Access Key)
华为云的有效SK
源端云服务提供商的私有访问密钥(SK),与AK相匹配。最大长度是100个字符。
KMS密钥
不开启
选择是否启用KMS密钥来加密您的源端密钥。
是否指定桶名
否
当您不具备列举桶权限,但具有列举桶中对象、获取对象元数据和获取对象权限时可以开启此参数,通过指定源端桶的路径来进行迁移。
设置说明参见表是否指定桶名的设置说明。
桶
桶名:1216testobsbucket
单击“桶”下拉框或者单击“刷新”,选择待迁移数据所在的桶。对象存储迁移服务将检查源端信息填写是否正确。如果填写正确,且您的账号具有列举桶名的权限,则会在“桶”中列举您名下的所有桶。
- 根据页面提示选择目的端参数,参数说明参见表2。
步骤三:设置任务参数,创建迁移任务
- 在选择源端/目的端页面,单击右下角“下一步”,进入“设置任务参数”页签。
- 根据页面提示设置源端配置参数。更多迁移方式说明请参考选择迁移方式。
图2 源端配置
表3 源端配置选项说明 参数
示例
说明
选择迁移方式
选择文件/文件夹
根据迁移情况选择迁移方式。
选择文件/文件夹
文件夹:BigData
选择需要迁移的文件/文件夹。若不添加该参数,则默认迁移全桶的对象。若添加对象名称前缀,则会迁移所有匹配的对象。
- 根据页面提示设置目的端配置参数。
表4 目的配置选项说明 参数
示例
说明
保存到指定前缀
关闭
在创建迁移任务/迁移任务组时,设置“保存到指定前缀”参数,设置后源端对象迁移到目的端,会在对象名前增加设置的前缀。关于“保存到指定前缀”参数的详细设置方法请参考指定前缀参数设置规则。
配置存储策略
默认配置
选择迁移到华为云OBS后,对象的存储类型。更多存储策略说明请参见存储类型介绍。
- 单击“高级选项”前面
,展开高级选项参数。根据表5,设置高级选项参数。
表5 高级选项参数说明 参数
示例
说明
元数据迁移方式
忽略元数据
为保证迁移任务正常运行,选择迁移元数据的方式。
迁移指定时间后的对象
关闭
设置迁移指定时间迁移在指定时间之后修改的源端待迁移对象。
服务端加密
关闭
迁移时是否对服务端进行加密处理。服务端加密的详细介绍请参考:服务端加密。
记录失败对象
开启
选择是否记录迁移失败的对象。
解冻归档数据
关闭
选择是否自动解冻归档类型数据并迁移,开启期间会产生额外费用。
说明:目前仅支持以下云服务提供商的归档数据的自动解冻:华为云、阿里云、金山云、腾讯云、优刻得。
发送通知
不勾选
可以通知您迁移任务的结果。勾选时确保所选主题包含的订阅正确。 否则,SMN通知消息将不会发送到您希望的地址。
流量控制
关闭
设置迁移任务在指定时段的最大流量带宽。
同名对象覆盖方式
大小/最后修改时间对比覆盖
当源端和目的端存在同名对象时,根据哪种方式进行覆盖。
一致性校验
大小/最后修改时间校验
选择一致性校验方式,判断迁移后数据是否完整。
任务优先级
中
任务较多时,可以通过设置任务优先级制定迁移顺序。
描述
自定义输入
输入本次迁移任务的简单描述信息。最多可输入255个字符。
- 单击页面右下角“下一步”,进入“确认信息”页签。
- 确认迁移信息无误后,单击“开始迁移”启动迁移任务。
仔细阅读弹出的启动前确认,单击“确定”,进入“任务提交成功”页面。
- 单击“返回任务列表”,返回迁移任务页面。查看已生成的迁移任务。
图3 任务列表页面
- 单击迁移任务名称,可查看已迁移对象数/对象总数、任务进度、迁移速率、源端/目的端信息以及您在创建迁移任务时设置的各项参数信息。
