更新时间:2024-07-17 GMT+08:00
创建迁移任务组
本节介绍创建迁移任务组的操作步骤。
![](https://support.huaweicloud.com/intl/zh-cn/bestpractice-oms/public_sys-resources/caution_3.0-zh-cn.png)
- OMS默认会将等待超过30天未调度的任务自动设置为失败,并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中,请控制创建任务的频率。
- 如果单个对象大小超过500G,建议您通过提交工单的方式,开通并发分片白名单配置,提升迁移速率。
- 在迁移过程中,系统将自动在目的端桶创建一个名为“OMS”的临时文件夹。严禁手动操作此文件夹,包括但不限于修改、删除或添加内容。对该文件夹进行的任何手动操作都可能导致迁移流程中断或失败。
适用场景
适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景,迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。
前提条件
- 已注册华为账号并开通华为云。
- 已获取源端和目的端账号的AK/SK并授予相关权限。
- 源端桶对应账户需要的权限:金山云对象存储只读权限(KS3ReadOnlyAccess) 。
- 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方式参见目的端桶权限获取。
- 已在OBS服务中创建桶。
- 您过去24小时内已创建的迁移任务未满1000000个。
- 您名下处于“等待中”状态的迁移任务未满1000000个。
操作步骤
- 登录华为云控制台。
- 单击控制台左上角的
,在下拉框中选择迁移目的端桶所在的Region,如图1所示。
- 单击控制台左侧“服务列表”,选择“迁移 > 对象存储迁移服务 OMS”,进入“对象存储迁移服务”页面。
您也可以在搜索框中输入“OMS”,快速查找“对象存储迁移服务 OMS”,如图2所示。
- 在左侧导航树,选择“迁移任务组”,切换到“迁移任务组”页面。
- 在“迁移任务组”页面,单击页面右上角的“创建迁移任务组”,如图3所示。
- 仔细阅读弹出的服务声明,勾选“同意以上服务声明”,单击“确定”,进入“创建迁移任务组”的“选择源端/目的端”页面,如图4所示。
- 设置“选择源端”区域的参数,参见表1。
- 设置“选择目的端”区域的参数,参见表2。
- 单击“下一步”,进入“设置任务组参数”页面,如图5所示。
- 选择迁移方式。
- 选择“输入对象前缀”迁移方式。
- 在“桶名”下方的输入框中输入待迁移的对象数据名称或名称前缀,如图6所示。若不添加该参数,则默认迁移全桶的数据。
- 添加对象前缀时,如果对象文件在桶的根目录下,则直接添加前缀;如果对象文件存在目录路径,则需要在对象前缀前添加对象文件所在的目录路径。格式为:桶名/文件夹/对象前缀。
- 若不添加该参数,则默认迁移全桶的数据。
- 待迁移的对象会被记录在txt类型的列表文件中(每个迁移任务对应一个列表文件),并存放在目的端桶的“oms/taskgroup/”路径下。当任务组迁移完成后,这些列表文件会保留下来,您可以手动删除它们。
- 单击“添加”按钮,系统会自动匹配出数据。您可以单击
,从匹配到的迁移数据列表中删除不需要迁移的数据。
- 在“桶名”下方的输入框中输入待迁移的对象数据名称或名称前缀,如图6所示。若不添加该参数,则默认迁移全桶的数据。
- 选择“指定对象列表目录”迁移方式。
- 在“列表目录所在桶(华为云)”下拉列表中,选择存放列表文件的桶。
请确保列表文件所在桶与目的端桶处于同一区域,否则后续将无法选择对象列表目录。
- 在“选择对象列表目录”参数后面,单击“选择”按钮,弹出“选择对象列表文件”窗口,选择包含所有对象列表的文件夹,单击“确定”,如图7所示。
- 对象列表文件大小不能超过1024 MB。
- 对象列表目录下的文件个数不能超过2000个。
- 对象列表文件必须是“.txt”类型的文件,并且该文件元数据中的“ContentType”只能为:“text/plain”。
- 对象列表文件必须是UTF-8无BOM格式编码格式。
- 在对象列表文件中,每一行只能包含一个对象名称。如果对象名称包含特殊字符或空格,为了确保迁移过程的正确性,需要使用URL编码进行转换。
例如:待迁移对象为“6-objs.txt”和“oms/考试计划.docx”,则对象列表文件中应写入如下内容:
6-objs.txt oms%2F%E8%80%83%E8%AF%95%E8%AE%A1%E5%88%92.docx
- 对象列表文件中每行不要添加无效空格,否则会将空格作为对象名,导致迁移失败。
- 对象列表文件中每行长度不要超过65535,否则会导致迁移失败。
- 对象列表文件的元数据中不能设置“ContentEncoding”,否则会导致迁移失败。
- 对象列表文件如果是归档数据,迁移前需要先手动恢复,对象存储迁移服务才能访问和获取。
- 在“列表目录所在桶(华为云)”下拉列表中,选择存放列表文件的桶。
- 选择“输入对象前缀”迁移方式。
- 选择元数据迁移方式。
- 选择“忽略元数据”,OMS只迁移源端ContentType元数据。
- 选择“保留元数据”,OMS会迁移支持范围内的元数据。
当前元数据迁移仅支持英文字符、数字与中划线【-】迁移。暂不支持中文、中文符号迁移(无论是否经过编码)。
- 设置迁移指定时间后的对象,使用时间过滤源端待迁移对象。
- 选择“否”,不过滤源端待迁移对象。
- 选择“是”,设置迁移指定时间后,OMS服务仅迁移在指定时间之后修改的源端待迁移对象。
- (可选)根据表3,设置“源端使用自定义域名下载”参数。
- 设置“目的端配置选项”区域参数。
- 单击“高级选项”展开,根据表4参数说明,设置“高级选项”参数。
表4 参数说明 参数
说明
记录失败对象
默认“是”。
- 选择“否”,不记录迁移失败的对象。如果迁移失败,只能全量重传。
- 选择“是”,记录迁移失败的对象。如果迁移失败,支持只对迁移失败对象进行重传。
解冻归档数据
默认“否”。
- 选择“否”,迁移数据中有归档数据时,则直接判定该对象迁移失败并跳过,继续迁移其余数据。
- 选择“是”,迁移数据中有归档数据时,会自动解冻归档类型数据并迁移。
发送通知
默认“否”,选择是否使用SMN消息通知功能,该功能可以通知您迁移任务的结果。
- 选择“否”,不接收SMN消息。
- 选择“是”,接收SMN消息。
流量控制
默认“否”,设置迁移任务在指定时段的最大流量带宽。
- 选择“否”,不进行流量控制。
- 选择“是”,进行流量控制。
同名对象覆盖方式
- 大小/最后修改时间对比覆盖:对于源端和目的端存在的同名对象,保留最后修改时间较新的对象;如果最后修改时间相同,大小不同,则源端覆盖目的端;如果最后修改时间和大小都相同,则跳过迁移。
- 不覆盖:对于源端和目的端存在的同名对象,跳过源端对象,保留目的端对象。
- CRC64对比覆盖:对于源端和目的端存在的同名对象,对比源端和目的端对象元数据中的CRC64值,相同则跳过,不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间对比覆盖策略执行。
说明:
- 目前仅支持华为云、阿里云、腾讯云。
- 需满足源端、目的端对象的加密状态一致。
- 全覆盖:对于源端和目的端存在的同名对象,源端对象直接覆盖目的端对象。
一致性校验
- 大小/最后修改时间校验:默认配置,通过对比源端和目的端对象大小+最后修改时间,判断迁移后数据是否完整。
- CRC64校验:通过对比源端和目的端对象元数据中CRC64值,判断迁移后数据是否完整。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间校验策略。
任务优先级
任务较多时,可以通过设置任务优先级制定迁移顺序。
- 单击“下一步”,进入“确认信息”页面。
- 确认源端信息、目的端信息、任务参数、高级选项等参数无误后,单击“开始迁移”。提示任务提交成功。查看迁移任务组列表已新增该任务组。
父主题: 金山云KS3迁移至华为云OBS教程