创建迁移任务组
适用场景
适用于单个桶数据量大于3 TB或对象个数大于500万的对象迁移场景，迁移任务组将源端待迁移对象智能分解到多个迁移任务中并行迁移。
- OMS默认会将等待超过30天未调度的任务自动设置为失败，并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中，请控制创建任务的频率。
- 如果单个对象大小超过500G，建议您通过提交工单的方式，开通并发分片白名单配置，提升迁移速率。
- 在迁移过程中，系统将自动在目的端桶创建一个名为“OMS”的临时文件夹。严禁手动操作此文件夹，包括但不限于修改、删除或添加内容。对该文件夹进行的任何手动操作都可能导致迁移流程中断或失败。
背景信息
对象存储迁移服务支持迁移以下的源端云服务商或数据源类型：
- 华为云
- 亚马逊云（中国）
- 阿里云
- 微软云
- 腾讯云
- 谷歌云
- 七牛云
- 青云
- 百度云
- 金山云
- 优刻得
- HTTP/HTTPS数据源
本节以华为云为源端数据源为例进行介绍，其余云服务商创建迁移任务组的详细步骤，您可以参考各云服务商迁移教程。
迁移过程中，对象存储迁移服务会调用源端云服务提供商的对象存储服务接口，所产生的费用都遵从源端云服务提供商的计费规则并由其向您收取。
前提条件
- 已注册华为账号并开通华为云，完成实名认证。
- 已获取源端和目的端账号的AK/SK。
- 已在华为云OBS服务中创建桶。
- 24小时内，单个Region内创建迁移任务组数量未满300个。
- 您过去24小时内已创建的迁移任务未满1000000个。
- 您名下处于“等待中”状态的迁移任务未满1000000个。
操作步骤
- 登录管理控制台。
- 单击管理控制台左上角的
，在下拉框中选择区域。 - 单击“服务列表”，选择“迁移 > 对象存储迁移服务 OMS”。
进入“对象存储迁移服务”页面。
- 在左侧导航树，选择“迁移任务组”，进入到“迁移任务组”页面。
- 单击页面右上角“创建迁移任务组”。
仔细阅读弹出的服务声明，勾选“同意以上服务声明”，单击“确定”，进入“创建迁移任务组”页面。
- 选择“是否开启迁移前评估”。
- 选择“关闭”，不执行迁移前评估。
- 选择“开启”，设置“迁移文件数”、“迁移总容量”以及“期望迁移市场”，单击“开始评估”。评估完成后，在“开始评估”按钮下会展示迁移前评估结果。
- 选择源端/目的端。
- 选择源端，具体参数参见表1。
表1 源端选择参数 参数
说明
源端数据源
待迁移的源端云服务提供商。
（可选）appID
当源端云服务提供商为腾讯云，则需要输入该参数，appID 是您腾讯云账户的一个标识。
源端访问密钥（Access Key）
源端云服务提供商的访问密钥（AK）。最大长度是100个字符。
源端私有访问密钥（Secret Access Key）
源端云服务提供商的私有访问密钥（SK），与AK相匹配。最大长度是100个字符。
是否指定桶名
当您不具备列举桶权限，但具有列举桶中对象、获取对象元数据和获取对象权限时可以开启此参数，通过指定源端桶的路径来进行迁移。
设置说明参见表2。
- 选择目的端，具体参数参见表3。
- 选择源端，具体参数参见表1。
- 单击“下一步”，进入“设置任务组参数”页签。
- 设置“源端配置选项”区域参数。
- 选择迁移方式。
如果...
那么...
指定对象列表
指定对象列表目录方式，一般用于增量迁移场景，用户需要将待迁移的源端对象名称写入对象列表文件，并将生成的对象列表文件放在华为云OBS桶中，对象存储迁移服务将会迁移指定对象列表文件中的所有对象。
- 选择“列表目录所在桶（华为云）”。
说明：
此参数中列出的桶是通过6.3中输入的目的端AK/SK得到的桶列表。
请确保列表文件所在桶与目的端桶处于同一区域，否则后续将无法选择对象列表文件。
- 在“选择对象列表文件”区域内单击“选择”，选择用户指定的对象列表文件夹，单击“确定”。
说明：- 对象列表文件大小不能超过1024 MB。
- 对象列表目录下的文件个数不能超过2000个。
- 对象列表文件必须是“.txt”类型的文件，并且该文件元数据中的“ContentType”只能为：“text/plain”。
- 对象列表文件必须是UTF-8无BOM格式编码格式。
- 在对象列表文件中，每一行只能包含一个对象名称。如果对象名称包含特殊字符或空格，为了确保迁移过程的正确性，需要使用URL编码进行转换。
例如：待迁移对象为“6-objs.txt”和“oms/考试计划.docx”，则对象列表文件中应写入如下内容：
6-objs.txt oms%2F%E8%80%83%E8%AF%95%E8%AE%A1%E5%88%92.docx
- 对象列表文件中每行不要添加无效空格，否则会将空格作为对象名，导致迁移失败。
- 对象列表文件中每行长度不要超过65535，否则会导致迁移失败。
- 对象列表文件的元数据中不能设置“ContentEncoding”，否则会导致迁移失败。
- 对象列表文件如果是归档数据，迁移前需要先手动恢复，对象存储迁移服务才能访问和获取。
输入对象前缀
在“输入对象前缀”区域内输入对象数据名称或者名称前缀，系统会自动匹配出数据。您可以单击X，从这些匹配到的迁移数据列表中删除不需要迁移的数据。
说明：- 添加对象前缀时，如果对象文件在桶的根目录下，则直接添加前缀；如果对象文件存在目录路径，则需要在对象前缀前添加对象文件所在的目录路径。格式为：桶名/文件夹/对象前缀。
- 若不添加该参数，则默认迁移全桶的数据。
- 待迁移的对象会被记录在txt类型的列表文件中（每个迁移任务对应一个列表文件），并存放在目的端桶的“oms/taskgroup/”路径下。当任务组迁移完成后，这些列表文件会保留下来，您可以手动删除它们。
指定URL列表
指定URL列表目录方式，一般适用于HTTP或HTTPS源端的迁移场景，用户需要将待迁移的文件URL和目的端对象名称写入一个或多个URL列表文件（单个列表文件大小不能超过1 GB），并将生成的URL列表文件放在华为云OBS桶的指定目录中（目录下的文件个数不能超过2000个且必须是“.txt”类型的文件），对象存储迁移服务将会迁移OBS桶指定目录下所有URL列表文件中的对象。
- 选择“列表目录所在桶（华为云）”。
说明：
- 此参数中列出的桶是通过表3中输入的目的端AK/SK得到的桶列表。
- 请确保列表文件所在桶与目的端桶处于同一区域，否则后续将无法选择对象列表文件。
- 出于安全考虑，若您的源端同时支持HTTP和HTTPS协议，建议迁移时使用HTTPS协议；若使用HTTP协议，会存在数据可能会被监听窃取、数据被篡改、中间人重放攻击等风险。
- 如果待迁移内容为非公开内容时，建议不要将源端数据公开，采用其他非HTTP/HTTPS方式进行迁移。
- URL列表迁移不支持URL重定向。
- 在“选择URL列表目录”区域内单击“选择”，选择用户指定的URL列表文件，单击“确定”。
说明：
- 单个URL列表文件大小不能超过1024 MB。
- 所选URL目录下的文件个数不能超过2000个。
- URL列表文件必须是“.txt”类型的文件，并且该文件元数据中的“ContentType”只能为：“text/plain”。
- URL列表文件必须是UTF-8无BOM格式编码格式。
- URL列表文件中每行只能包含一个URL和目的端对象名称。
- URL列表文件中每行长度不要超过65535，否则会导致迁移失败。
- URL列表文件的元数据中不能设置“ContentEncoding”，否则会导致迁移失败。
- URL列表文件中每行使用制表符（键盘上Tab键）\t分隔URL和目的端对象名称，请勿使用空格。格式为：[URL][制表符][目的端对象名称]，其中源端对象名称如果包含中文、特殊字符必须使用URL Encode对URL编码；目的端对象名称如果包含中文、特殊字符也需要使用URL Encode编码。
注意：
URL编码仅从域名后第二个字符开始，不要将协议头、域名以及域名两侧的斜线转码，否则将导致格式校验错误。
URL与目的端对象名称之间使用一个制表符（键盘上Tab键）进行分隔，请勿使用空格。
例如：http://xxx.xxx.xxx.xxx.com/doc/%e6%96%87%e4%bb%b61.txt doc/%e6%96%87%e4%bb%b61.txt http://xxx.xxx.xxx.xxx.com/doc/thefile2.txt doc/thefile2.txt http://xxx.xxx.xxx.xxx.com/the%20file.txt the%20file.txt http://xxx.xxx.xxx.xxx.com/the%20file2.txt the+file2.txt http://xxx.xxx.xxx.xxx.com/doc/thefile.txt doc/thefile.txt
以上示例中，URL所表示的文件，被复制到目的端桶后，对象会被分别命名为：doc/文件1.txt、doc/thefile2.txt、the file.txt、the file2.txt以及doc/thefile.txt。
- URL列表文件中每行不要添加无效空格，否则会将空格作为对象名，导致迁移失败。
- URL列表文件中的URL需确保可通过HEAD和GET请求正常访问。
- 选择“列表目录所在桶（华为云）”。
- 选择迁移方式。
- 设置“目的端配置选项”区域参数。
- （可选）单击“高级选项”前面
，展开高级选项参数。根据表4，设置高级选项参数。
表4 高级选项参数说明 参数
说明
元数据迁移方式
选择是否迁移元数据。
- 选择“忽略元数据”，OMS只迁移源端Content-Type、Content-Encoding元数据。
- 选择“保留元数据”，OMS会迁移支持范围内的元数据。
须知：
- 仅支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外，其他所有字符均不支持。
- 如果选择“忽略元数据迁移”，为保证迁移任务正常运行，仍将迁移Content-Type、Content-Encoding元数据。
迁移指定时间后的对象
选择是否迁移在指定时间后的对象。
- 选择“关闭”，不过滤源端待迁移对象。
- 选择“开启”，设置迁移指定时间后，OMS服务仅迁移在指定时间之后修改的源端待迁移对象。
服务端加密
选择是否服务端加密。
- 选择“关闭”，迁移后对象均不加密。
- 选择“开启”，所有对象在迁移到OBS桶后都将被加密存储
说明：- 默认使用SSE-KMS加密，不支持其它加密方式或者自定义加密。
- 目的端为并行文件系统(PFS)时，不支持KMS加密。
- 使用KMS服务端加密可能会降低迁移速率10%左右
- 当前区域支持KMS加密时，此参数才可用。
记录失败对象
选择是否记录迁移失败的对象。
- 选择“关闭”，则不记录迁移失败的对象。如果迁移失败，只能全量重传。
- 选择“开启”，记录迁移失败的对象。如果迁移失败，支持只对迁移失败对象进行重传。
解冻归档数据
归档类型的对象存储要实现迁移，必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时，可以勾选此选项。
- 选择“开启”：如果遇到归档类型对象，则自动解冻该对象并进行迁移。如果解冻失败，则判定该对象迁移失败并跳过，继续迁移其余对象。
须知：
- 目前支持以下云服务提供商的归档数据的自动解冻：华为云、阿里云、金山云、腾讯云。
- 解冻预计耗时1分钟及以上，对象越大解冻耗时越长，超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异，具体请参考各云服务提供商的相关文档。
- 解冻归档数据的过程中会产生两种费用，一是API调用费用，二是归档数据取回费用，这些均由源端云服务提供商向您收取。
- 归档数据的解冻状态会持续一段时间，在此时间内支持对象的下载/访问，超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。
- 默认取回时间为3天，当迁移对象数超过300 w或容量大小超过3 TB时，为避免迁移时间过长，数据再次归档后导致迁移失败，请选择迁移任务组方式迁移。
- 在迁移任务开始后，暂停/重启操作会导致所有取回重新执行，造成解冻周期延长、存储费用增加，请谨慎操作。
- 对象存储数据从源端云服务提供商迁移到华为云后，存储类型和目的端桶的存储类型保持一致，与源端对象存储类型无关。
- 选择“关闭”：如果遇到归档类型对象，则直接判定该对象迁移失败并跳过，继续迁移其余对象。
发送通知
选择是否使用SMN消息通知功能，该功能可以通知您迁移任务的结果。- 选择“关闭”，不接收SMN消息。
- 选择“开启”，接收SMN消息。
需要执行以下步骤：
- 单击“SMN主题”所在行的“添加”，弹出“选择SMN主题”对话框。
- 选择接收SMN消息的主题，单击“确定”完成选择。如果您所选的SMN主题没有对对象存储迁移服务授权，单击“确定”则会弹出“警告”对话框。如果需要授权，请单击“是”为对象存储迁移服务授权，否则请单击“否”返回“选择SMN主题”页面，选择其他SMN主题。
- 单击“SMN模板”所在行的“添加”，弹出“选择SMN模板”对话框。如果设置此值，则表示用模板方式发送SMN信息。模板名称下必须有default协议的模板。
- 选择接收SMN信息的模板，单击“确定”完成选择。
- 设置“触发条件”参数。您可以只勾选其中一个参数或者两个参数都勾选。
- “迁移成功”表示迁移任务成功时发送SMN消息通知。
- “迁移失败”表示迁移任务失败时发送SMN消息通知。
说明：如果您无法正常使用SMN消息通知功能，请参见SMN消息通知功能无法正常使用怎么办？。
流量控制
设置迁移任务在指定时段的最大流量带宽。
- 选择“关闭”，不进行流量控制。
- 选择“开启”，进行流量控制。
需要执行以下步骤：
同名对象覆盖方式
- 大小/最后修改时间对比覆盖：对于源端和目的端存在的同名对象，保留最后修改时间较新的对象；如果最后修改时间相同，大小不同，则源端覆盖目的端；如果最后修改时间和大小都相同，则跳过迁移。
- 不覆盖：对于源端和目的端存在的同名对象，跳过源端对象，保留目的端对象。
- CRC64对比覆盖：对于源端和目的端存在的同名对象，对比源端和目的端对象元数据中的CRC64值，相同则跳过，不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间对比覆盖策略执行。
说明：
- 目前仅支持华为云、阿里云、腾讯云。
- 需满足源端、目的端对象的加密状态一致。
- 全覆盖：对于源端和目的端存在的同名对象，源端对象直接覆盖目的端对象。
一致性校验
- 大小/最后修改时间校验：默认配置，通过对比源端和目的端对象大小+最后修改时间，判断迁移后数据是否完整。
- CRC64校验：通过对比源端和目的端对象元数据中CRC64值，判断迁移后数据是否完整。如果源端与目的端对象元数据中不存在CRC64值，则默认使用大小/最后修改时间校验策略。
描述
输入本次迁移任务的简单描述信息。
最多可输入255个字符。
- 单击“下一步”，进入确认信息页面。
- 确认迁移信息的设置，并启动迁移。
