创建迁移任务
本节介绍创建迁移任务的操作步骤。
- OMS默认会将等待超过30天未调度的任务自动设置为失败,并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中,请控制创建任务的频率。
- 如果单个对象大小超过500G,建议您通过提交工单的方式,开通并发分片白名单配置,提升迁移速率。
- 在迁移过程中,系统将自动在目的端桶创建一个名为“OMS”的临时文件夹。严禁手动操作此文件夹,包括但不限于修改、删除或添加内容。对该文件夹进行的任何手动操作都可能导致迁移流程中断或失败。
适用场景
适用于单个桶数据量不超过3 TB或对象个数不超过500万的对象存储迁移场景,通过创建对象存储迁移任务,可将对象数据进行快速迁移。
如果单个桶数据量大于3 TB或对象个数大于500万,建议您创建迁移任务组来进行迁移。
前提条件
- 已注册华为账号并开通华为云。
- 已获取源端和目的端账号的AK/SK并授予相关权限。
- 源端桶对应账户需要的权限:只读访问对象存储服务(OSS)的权限(AliyunOSSReadOnlyAccess)。
- 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方式参见目的端桶权限获取。
- 已在OBS服务中创建桶。
- 您过去24小时内已创建的迁移任务未满1000000个。
- 您名下处于“等待中”状态的迁移任务未满1000000个。
操作步骤
- 登录华为云控制台。
- 单击控制台左上角的,在下拉框中选择迁移目的端桶所在的Region,如图1所示。
- 单击控制台左侧“服务列表”,选择“迁移 > 对象存储迁移服务 OMS”,进入“对象存储迁移服务”页面。
您也可以在搜索框中输入“OMS”,快速查找“对象存储迁移服务 OMS”,如图2所示。
- 在“迁移任务”页面,单击页面右上角的“创建迁移任务”,如图3所示。
- 仔细阅读弹出的服务声明,勾选“同意以上服务声明”,单击“确定”,进入“创建迁移任务”的“选择源端/目的端”页面,如图4所示。
- 设置“选择源端”区域的参数,参见表1。
- 设置“选择目的端”区域的参数,参见表2。
- 单击“下一步”,进入“设置任务参数”页面,如图5所示。
- 根据下表迁移方式和适用场景说明,选择迁移方式。
迁移方式
适用场景
说明
已知迁移对象文件名或者所在文件目录。
- 选择文件夹:迁移勾选文件夹下的所有对象。
- 选择文件:迁移勾选的对象文件。
支持同时勾选文件夹和对象文件进行迁移,若不勾选,则默认迁移桶内的所有对象。
已知所有需要迁移对象的文件名,并将所有文件名放置在一个.txt文件中,上传到华为云OBS桶。
- 列表文件所在桶(华为云):必须与目的端桶处于同一区域,否则将无法选择对象列表文件。
- 选择对象列表文件:选择包含所有对象文件名的.txt文件 。
说明:- 对象列表文件大小不能超过1024MB。
- 对象列表文件中的首个对象必须存在,否则会预校验不通过。
- 对象列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。
- 对象列表文件必须是UTF-8无BOM格式编码格式。
- 对象列表文件中每行只能包含一个对象名称,并且对象名称使用URL Encode编码
- 对象列表文件中每行不要添加无效空格,否则会将空格作为对象名,导致迁移失败。
- 对象列表文件中每行长度不要超过65535,否则会导致迁移失败。
- 对象列表文件的元数据中不能设置“ContentEncoding”,否则会导致迁移失败。
- 对象列表文件如果是归档数据,迁移前需要先手动恢复,对象存储迁移服务才能访问和获取。
已知迁移对象的命名格式,且需要迁移对象用相同前缀命名。
前缀添加成功后,会迁移桶中所有以该前缀开头的对象。
若不添加该参数,则默认迁移桶内的所有对象。
- “选择文件/文件夹”迁移方式。
- 单击桶名下方的“选择”按钮,弹出“选择文件/文件夹”窗口。
- 勾选待迁移的文件夹/文件。支持同时勾选文件夹和对象文件进行迁移,若不勾选,则默认迁移桶内的所有对象。
- 单击“确定”,所选文件/文件夹显示在下方,如图6所示。
- “指定对象列表”迁移方式。
- 在“列表文件所在桶(华为云)”下拉列表中,选择存放列表文件的桶。
请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表文件。
- 在“选择对象列表文件”参数后面,单击“选择”按钮,弹出“选择对象列表文件”窗口,选择包含所有对象文件名的.txt文件,单击“确定”,如图7所示。
- 在“列表文件所在桶(华为云)”下拉列表中,选择存放列表文件的桶。
- “输入对象前缀”迁移方式。
- 在“桶名”下方的输入框中输入待迁移的对象数据名称或名称前缀,如图8所示。若不添加该参数,则默认迁移全桶的数据。
- 单击“添加”按钮,系统会自动匹配出数据。您可以单击,从匹配到的迁移数据列表中删除不需要迁移的数据。
- 选择元数据迁移方式。
- 选择“忽略元数据”,OMS只迁移源端ContentType元数据。
- 选择“保留元数据”,OMS会迁移支持范围内的元数据。
仅支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外,其他所有字符均不支持。
- 设置迁移指定时间后的对象,使用时间过滤源端待迁移对象。
- 选择“否”,不过滤源端待迁移对象。
- 选择“是”,设置迁移指定时间后,OMS服务仅迁移在指定时间之后修改的源端待迁移对象。
- (可选)根据表3,设置“源端使用自定义域名下载”参数。
表3 参数设置 参数
设置
源端使用自定义域名下载
默认不勾选。
当默认域名不能满足您的迁移需求,比如您需要一个自定义域名以便使用CDN降低源端出口下载流量的费用,可以勾选此选项,并进行如下设置:
说明:如果使用了防盗链,建议关闭防盗链或联系华为云技术支持。
- 在“自定义域名传输协议”中选择传输协议。
说明:
HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。
- 填写“桶自定义域名”。
启用CDN鉴权校验
默认不勾选。
如果您使用了阿里云提供的CDN鉴权,请勾选此项,并进行如下设置:
- 选择“校验类型”,包含“A方式”、“B方式”、“C方式”,当前仅支持“C方式”。
- 输入CDN“校验密钥”。
说明:
- 使用阿里云CDN产生的费用遵从阿里云的计费规则,费用由阿里云向您收取。
- 迁移前请在阿里云CDN控制台关闭CDN的Gzip压缩等优化功能,否则可能导致迁移失败。
- 不支持URL重定向。
检查
单击“检查”按钮,检查参数设置是否正确。- 检查未通过,请单击“详情”查看未通过的原因。
- 检查通过,继续进行其他迁移配置。
- 在“自定义域名传输协议”中选择传输协议。
- 设置“目的端配置选项”区域参数。
- 保存到指定前缀。
- 选择“否”,源端对象迁移到目的端后,对象名保持不变。
- 选择“是”,如图9所示,输入指定前缀,源端对象迁移到目的端后,会在对象名前增加设置的前缀。
关于“保存到指定前缀”参数的详细设置方法请参考指定前缀参数设置规则。
- 配置存储策略
选择迁移到华为云OBS后,对象的存储类型。存储策略说明请参见存储类型介绍。
- 保存到指定前缀。
- 单击“高级选项”前的,根据表4参数说明,设置“高级选项”参数。
表4 高级选项参数说明 参数
说明
元数据迁移方式
选择是否迁移元数据。
- 选择“忽略元数据”,OMS只迁移源端ContentType元数据。
- 选择“保留元数据”,OMS会迁移支持范围内的元数据。
须知:
- 仅支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外,其他所有字符均不支持。
- 如果选择“忽略元数据迁移”,为保证迁移任务正常运行,仍将迁移ContentType元数据。
迁移指定时间后的对象
选择是否迁移在指定时间后的对象。
- 选择“否”,不过滤源端待迁移对象。
- 选择“是”,设置迁移指定时间后,OMS服务仅迁移在指定时间之后修改的源端待迁移对象。
服务端加密
选择是否服务端加密。
- 选择“否”,迁移后对象均不加密。
- 选择“是”,所有对象在迁移到OBS桶后都将被加密存储
说明:- 默认使用SSE-KMS加密,不支持其它加密方式或者自定义加密。
- 目的端为并行文件系统(PFS)时,不支持KMS加密。
- 使用KMS服务端加密可能会降低迁移速率10%左右
- 当前区域支持KMS加密时,此参数才可用。
记录失败对象
选择是否记录迁移失败的对象。
- 选择“否”,则不记录迁移失败的对象。如果迁移失败,只能全量重传。
- 选择“是”,记录迁移失败的对象。如果迁移失败,支持只对迁移失败对象进行重传。
解冻归档数据
归档类型的对象存储要实现迁移,必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时,可以勾选此选项。
- 选择‘是’:如果遇到归档类型对象,则自动解冻该对象并进行迁移。如果解冻失败,则判定该对象迁移失败并跳过,继续迁移其余对象。
注意:
- 目前支持以下云服务提供商的归档数据的自动解冻:华为云、阿里云、金山云、腾讯云。
- 在数据迁移时,系统会对所有数据发起取回操作,源端云服务商会收取相应的API调用费用和存储费用。
- 默认取回时间为3天,当迁移对象数超过300 w或容量大小超过3 TB时,为避免迁移时间过长,数据再次归档后导致迁移失败,请选择迁移任务组方式迁移。
- 在迁移任务开始后,暂停/重启操作会导致所有取回重新执行,造成解冻周期延长、存储费用增加,请谨慎操作。
- 对象存储数据从源端云服务提供商迁移到华为云后,存储类型和目的端桶的存储类型保持一致,与源端对象存储类型无关。
- 选择‘否’:如果遇到归档类型对象,则直接判定该对象迁移失败并跳过,继续迁移其余对象。
发送通知
选择是否使用SMN消息通知功能,该功能可以通知您迁移任务的结果。- 选择“否”,不接收SMN消息。
- 选择“是”,接收SMN消息。
需要执行以下步骤:
- 单击“SMN主题”所在行的“添加”,弹出“选择SMN主题”对话框。
- 选择接收SMN消息的主题,单击“确定”完成选择。如果您所选的SMN主题没有对对象存储迁移服务授权,单击“确定”则会弹出“警告”对话框。如果需要授权,请单击“是”为对象存储迁移服务授权,否则请单击“否”返回“选择SMN主题”页面,选择其他SMN主题。
- 单击“SMN模板”所在行的“添加”,弹出“选择SMN模板”对话框。如果设置此值,则表示用模板方式发送SMN信息。模板名称下必须有default协议的模板。
- 选择接收SMN信息的模板,单击“确定”完成选择。
- 设置“触发条件”参数。您可以只勾选其中一个参数或者两个参数都勾选。
- “迁移成功”表示迁移任务成功时发送SMN消息通知。
- “迁移失败”表示迁移任务失败时发送SMN消息通知。
说明:如果您无法正常使用SMN消息通知功能,请参见SMN消息通知功能无法正常使用怎么办?。
流量控制
设置迁移任务在指定时段的最大流量带宽。
- 选择“否”,不进行流量控制。
- 选择“是”,进行流量控制。
需要执行以下步骤:
同名对象覆盖方式
- 大小/最后修改时间对比覆盖:对于源端和目的端存在的同名对象,保留最后修改时间较新的对象;如果最后修改时间相同,大小不同,则源端覆盖目的端;如果最后修改时间和大小都相同,则跳过迁移。
- 不覆盖:对于源端和目的端存在的同名对象,跳过源端对象,保留目的端对象。
- CRC64对比覆盖:对于源端和目的端存在的同名对象,对比源端和目的端对象元数据中的CRC64值,相同则跳过,不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间对比覆盖策略执行。
说明:
- 目前仅支持华为云、阿里云、腾讯云。
- 需满足源端、目的端对象的加密状态一致。
- 全覆盖:对于源端和目的端存在的同名对象,源端对象直接覆盖目的端对象。
一致性校验
- 大小/最后修改时间校验:默认配置,通过对比源端和目的端对象大小+最后修改时间,判断迁移后数据是否完整。
- CRC64校验:通过对比源端和目的端对象元数据中CRC64值,判断迁移后数据是否完整。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间校验策略。
任务优先级
任务较多时,可以通过设置任务优先级制定迁移顺序。
描述
输入本次迁移任务的简单描述信息。
最多可输入255个字符。
- 单击“下一步”,进入“确认信息”页面。
- 确认源端信息、目的端信息、任务参数、高级选项等参数无误后,单击“开始迁移”。提示创建迁移任务成功。查看迁移任务列表已新增该任务。
任务创建后,会生成一个任务ID供您快速识别。它显示在列表中任务的左上角,由源端桶名+目的端桶名+时间序列标识拼接而成。