# 创建迁移任务 #### 适用场景 适用于单个桶数据量不超过3TB或对象个数不超过500万的对象存储迁移场景，通过创建对象存储迁移任务，可将对象数据进行快速迁移。如果单个桶数据量大于3TB或对象个数大于500万，建议[创建迁移任务组](https://support.huaweicloud.com/bestpractice-oms/oms_05_0604.html)来进行迁移。 若需更高的迁移效率，建议使用迁移中心MgC的[独享集群](https://console.huaweicloud.com/mgc/?#/mgc/object-storage-migration/exclusive-cluster)进行迁移。迁移中心MgC提供独享的集群资源，能够动态扩展迁移性能，最高支持20Gbit/s带宽。 #### 使用须知 - OMS默认会将等待超过30天未调度的任务自动设置为失败，并且会自动清除该任务的AK/SK。为防止大量任务阻塞在等待中，请控制创建任务的频率。 - 对于单个文件大小超过500GB的情况，推荐使用[MgC独享集群](https://console.huaweicloud.com/mgc/?#/mgc/object-storage-migration/exclusive-cluster)进行迁移，以提升迁移速率与稳定性。 - 在迁移过程中，系统将自动在目的端桶创建一个名为"OMS"的临时文件夹。严禁手动操作此文件夹，包括但不限于修改、删除或添加内容。对该文件夹进行的任何手动操作都可能导致迁移流程中断或失败。 - 您过去24小时内已创建的迁移任务未满1,000,000个。 - 您名下该账号处于"等待中"状态的迁移任务未满1,000,000个。 #### 操作流程 创建对象存储迁移任务的完整操作流程，请参见[表1]。 表1创建迁移任务操作流程 | 操作步骤 | 说明 | |:---|:---| | [准备工作](https://support.huaweicloud.com/bestpractice-oms/oms_05_0602.html) | - 账号和权限准备：注册华为账号并开通华为云，完成实名认证，获取OMS的权限，并准备源端和目的端账号的AK、SK。 - 提前创建目的端对象桶，用于存放迁移数据。 | | [步骤一：迁移前评估] | 基于文件数量和迁移总量，预测迁移任务所需的时长。可以帮您更好地规划迁移计划，确保业务在迁移过程中不受影响。 | | [步骤二：选择源端和目的端] | 分别配置源端和目的端的凭证信息，并选择待迁移数据所在的源端以及接收数据的目的端存储桶。 | | [步骤三：设置任务参数] | 选择迁移方式，并配置迁移任务相关参数。 | | [步骤四：启动并跟踪迁移任务] | 确认迁移任务的参数配置信息。启动迁移任务后，跟踪迁移任务内资源的运行状态及迁移阶段等信息。 | #### 步骤一：迁移前评估 1. 登录[OMS管理控制台](https://console.huaweicloud.com/oms/?#/oms/migrationTaskNew)。 2. 单击管理控制台左上角的![](https://support.huaweicloud.com/bestpractice-oms/zh-cn_image_0000002633359206.png)，在下拉框中选择区域。 3. 在"迁移任务"页面，单击页面右上角的"创建迁移任务"。 4. 仔细阅读弹出的服务声明，勾选"**同意以上服务声明**"，单击"确定"，进入"创建迁移任务"页面。 5. 选择"是否开启迁移前评估"。 - 选择"**关闭**"，不执行迁移前评估。 - 选择"**开启**"，设置"迁移文件数"、"迁移总容量"以及"期望迁移时长"，单击"开始评估"。评估完成后，在"开始评估"按钮下会展示迁移前评估结果。 #### 步骤二：选择源端和目的端 1. 在"选择源端/目的端"页面的"选择源端"区域，根据[表2](https://support.huaweicloud.com/bestpractice-oms/oms_05_0573.html#oms_05_0573__table4155702327)，设置源端参数。 表2源端参数配置说明 | 参数 | 设置 | |:---|:---| | 源端数据源 | 选择七牛云。 | | 源端访问密钥（Access Key） | 填写源端七牛云的访问密钥（AK）。 | | 源端私有访问密钥（Secret Access Key） | 填写源端七牛云的私有访问密钥（SK）。 | | KMS密钥 | 不开启：不会使用KMS密钥来加密您的源端密钥。 | | KMS密钥 | 开启：启用KMS密钥来加密您的源端密钥。 启用该功能，需要同意委托授权OMS访问KMS。同意后会授予自定义策略，自定义策略包含的内容如下： - 查询密钥信息："kms:cmk:get" - 解密数据密钥："kms:dek:decrypt" - 创建不含明文数据密钥："kms:dek:create" 如果您有授权资格，则可直接授权。授权成功后，无需再次授权。授权成功后，进行如下操作： 从KMS密钥中选择，在下拉菜单中选择自定义密钥。如果还未创建密钥，创建方式请参见[创建密钥](https://support.huaweicloud.com/usermanual-dew/dew_01_0178.html)。暂时只支持的密钥算法为AES_256和SM4。 说明： 使用KMS加密模式会收取相应费用。计费详情请参考[价格详情](https://www.huaweicloud.com/pricing/calculator.html#/dew)。 | | 是否指定桶名 | 关闭"是否指定桶名"（默认设置）。 单击"桶"下拉框或者单击"刷新"，选择待迁移数据所在的桶。 对象存储迁移服务将检查源端信息填写是否正确。如果填写正确，且您的账号具有列举桶名的权限，则会在"桶"中列举您名下的所有桶。 说明： 当源端AK/SK没有列举桶权限时，需要开启"是否指定桶名"。 | | 是否指定桶名 | 开启"是否指定桶名"。 1. 在"选择区域"下拉框中选择源端桶所在区域。 2. 在"桶名或路径"文本框中输入源端桶名或带桶名的路径。 | 2. 在"选择目的端"区域，根据[表3]，配置目的端参数。 表3目的端参数配置说明 | 参数 | 配置说明 | |:---|:---| | 目的端访问密钥（Access Key） | 填写目的端华为云的访问密钥（AK）。 | | 目的端密钥（Secret Access Key） | 填写目的端华为云的私有访问密钥（SK）。 | | KMS密钥 | 不开启：不会使用KMS密钥来加密您的目的端密钥。 | | KMS密钥 | 开启：启用KMS密钥来加密您的目的端密钥。 启用该功能，需要同意委托授权OMS访问KMS。同意后会授予自定义策略，自定义策略包含的内容如下： - 查询密钥信息："kms:cmk:get" - 解密数据密钥："kms:dek:decrypt" - 创建不含明文数据密钥："kms:dek:create" 如果您有授权资格，则可直接授权。授权成功后，无需再次授权。授权成功后，进行如下操作： 从KMS密钥中选择，在下拉菜单中选择自定义密钥。如果还未创建密钥，创建方式请参见[创建密钥](https://support.huaweicloud.com/usermanual-dew/dew_01_0178.html)。暂时只支持的密钥算法为AES_256和SM4。 说明： 使用KMS加密模式会收取相应费用。计费详情请参考[价格详情](https://www.huaweicloud.com/pricing/calculator.html#/dew)。 | | 桶名 | 单击"桶"下拉框或者单击"刷新"，选择存放迁移数据的华为云OBS桶。目的端桶所在Region必须和当前所在Region一致。 | 3. 完成源端和目的端参数配置后，单击右下角的"下一步"，进入"设置任务参数"页面。 #### 步骤三：设置任务参数 1. 在"源端配置选项"区域，根据[表4]，结合实际需求选择迁移方式。 表4迁移方式和适用场景说明 | 迁移方式 | 适用场景 | 说明 | 操作 | |:---|:---|:---|:---| | 选择文件/文件夹 | 已知迁移对象文件名或者所在文件目录。 | - 选择文件夹：迁移勾选文件夹下的所有对象。 - 选择文件：迁移勾选的对象文件。 支持同时勾选文件夹和对象文件进行迁移，若不勾选，则默认迁移桶内的所有对象。 | 1. 单击"选择文件/文件夹"下方的"选择"按钮，弹出"选择文件/文件夹"窗口。 2. 勾选待迁移的文件夹或文件。 3. 单击"确定"，所选文件/文件夹显示在下方。 | | 指定对象列表 | 已知所有需要迁移对象的文件名，并将所有文件名放置在一个.txt文件中，上传到华为云OBS桶。 | - 列表文件所在桶（华为云）：必须与目的端桶处于同一区域，否则将无法选择对象列表文件。 - 选择对象列表文件：选择包含所有对象文件名的.txt文件 。 对象列表文件存在以下约束与限制： - 对象列表文件大小不能超过1024MB。 - 对象列表文件中的首个对象必须存在，否则会预校验不通过。 - 对象列表文件必须是".txt"类型的文件，并且该文件元数据中的"ContentType"只能为："text/plain"。 - 对象列表文件必须是UTF-8无BOM格式编码格式。 - 对象列表文件中每行只能包含一个对象名称，并且对象名称使用URL Encode编码 - 对象列表文件中每行不要添加无效空格，否则会将空格作为对象名，导致迁移失败。 - 对象列表文件中每行长度不要超过65535，否则会导致迁移失败。 - 对象列表文件的元数据中不能设置"ContentEncoding"，否则会导致迁移失败。 - 对象列表文件如果是归档数据，迁移前需要先手动恢复，对象存储迁移服务才能访问和获取。 | 1. 在"列表文件所在桶（华为云）"下拉列表中，选择存放列表文件的桶。 2. 单击"选择对象列表文件"参数后面的"选择"按钮，弹出"选择对象列表文件"窗口。 3. 选择包含所有对象文件名的.txt文件，单击"确定"。 | | 输入对象前缀 | 已知迁移对象的命名格式，且需要迁移对象用相同前缀命名。 | 前缀添加成功后，会迁移桶中所有以该前缀开头的对象。 若不添加该参数，则默认迁移桶内的所有对象。 | 1. 在输入框中输入待迁移的对象数据名称或名称前缀。 2. 单击"添加"按钮，系统会自动匹配出数据。您可以单击![](https://support.huaweicloud.com/bestpractice-oms/zh-cn_image_0000002649019064.png)，从匹配到的迁移数据列表中删除不需要迁移的数据。 | 2. 根据[表5]，配置"源端使用自定义域名下载"参数。 ![](https://support.huaweicloud.com/bestpractice-oms/public_sys-resources/note_3.0-zh-cn.png) - 七牛云在使用CDN迁移时，可能会由于缓存未更新而失败返回错误信息"Range Not Satisfiable的范围不合适"。解决措施：请在七牛云控制台刷新CDN缓存后返回重试任务。 - 如果使用了防盗链，建议关闭防盗链或联系华为云技术支持。 表5自定义域名参数配置 | 参数 | 设置 | |:---|:---| | 自定义域名传输协议 | HTTP协议安全级别低于HTTPS协议，推荐使用HTTPS协议。 | | 桶自定义域名 | 输入桶自定义域名。 | | 检查 | 单击"检查"按钮，检查参数设置是否正确。 - 检查未通过，页面右上角展示对应错误信息。 - 检查通过，继续进行其他迁移配置。 | 3. 在"目的端配置选项"区域，根据[表6]，设置参数。 表6目的端配置参数说明 | 参数 | 说明 | |:---|:---| | 保存到指定前缀 | - 选择"关闭"，源端对象迁移到目的端后，对象名保持不变。 - 选择"开启"，输入"对象前缀"，源端对象迁移到目的端后，会在对象名前增加设置的前缀。关于"保存到指定前缀"参数的详细设置方法请参考[指定前缀参数设置规则](https://support.huaweicloud.com/bestpractice-oms/oms_05_0506.html)。 | | 配置存储策略 | 选择迁移到目的端OBS桶后，对象的存储类型。关于存储策略详细说明请参见[存储类型介绍](https://support.huaweicloud.com/oms_faq/oms_faq_6221.html)。 | 4. 单击"高级选项"前的![](https://support.huaweicloud.com/bestpractice-oms/zh-cn_image_0000002679098749.png)，展开高级选项。根据[表7]，设置参数。 表7高级选项参数说明 | 参数 | 说明 | |:---|:---| | 元数据迁移方式 | 选择是否迁移元数据。 - 选择"**忽略元数据**"，为保证迁移任务正常运行，OMS将只迁移源端Content-Type、Content-Encoding元数据。 - 选择"**保留元数据** "，OMS会迁移支持范围内的元数据。支持中文字符、英文字符、数字和中划线"-"迁移。除上述字符外，其他所有字符均不支持。 支持的元数据类型范围：Content-Type，Content-Encoding，Content-Disposition，Content-Language，Cache-Control，Expires，WebsiteRedirectLocation，Storage-Class和自定义元数据。 | | 迁移指定时间后的对象 | 选择是否迁移在指定时间后的对象。 - 选择"关闭"，不过滤源端待迁移对象。 - 选择"开启"，设置迁移指定时间后，OMS服务仅迁移在指定时间之后修改的源端待迁移对象。 | | 记录失败对象 | 选择是否记录迁移失败的对象。 - 选择"关闭"，则不记录迁移失败的对象。如果迁移失败，只能全量重传。 - 选择"开启"，记录迁移失败的对象。如果迁移失败，支持只对迁移失败对象进行重传。 说明： - 单个迁移任务或迁移任务组任务，都会将迁移失败的对象记录在一个以任务名称命名的失败对象列表文件中，并将该文件上传到目的端桶的"oms/failed_object_lists/"路径下。 - 失败对象列表文件，最多记录10万个失败对象。超过10万个的场景，建议基于已有失败对象列表，分析处理后重新迁移。 - 该文件记录了迁移任务失败的摘要信息，包括：失败原因、发生时间（参照当前区域所属时区）、失败对象（经过URL编码）、失败对象（未经过URL编码）、源端SDK返回的错误码。 - 当迁移失败对象重传成功后，失败对象列表文件仍会保留在目的端。您如果不再需要该文件，请手动删除。 | | 解冻归档数据 | 归档类型的对象存储要实现迁移，必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时，可以勾选此选项。目前支持以下云服务提供商的归档数据的自动解冻：华为云（归档存储（COLD））、阿里云（归档存储（Archive））、金山云（归档存储（ARCHIVE））、腾讯云（归档存储（ARCHIVE））、优刻得（归档存储（ARCHIVE））。 - 选择"关闭"：如果遇到归档类型对象，则直接判定该对象迁移失败并跳过，继续迁移其余对象。 - 选择"开启"：如果遇到归档类型对象，则自动解冻该对象并进行迁移。如果解冻失败，则判定该对象迁移失败并跳过，继续迁移其余对象。 说明： - 解冻预计耗时1分钟及以上，对象越大解冻耗时越长，超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异，具体请参考各云服务提供商的相关文档。 - 解冻归档数据的过程中会产生两种费用，一是API调用费用，二是归档数据取回费用，这些均由源端云服务提供商向您收取。 - 归档数据的解冻状态会持续一段时间，在此时间内支持对象的下载/访问，超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。 - 默认取回时间为3天，当迁移对象数超过300W或容量大小超过3TB时，为避免迁移时间过长，数据再次归档后导致迁移失败，请选择迁移任务组方式迁移。 - 在迁移任务开始后，暂停/重启操作会导致所有取回重新执行，造成解冻周期延长、存储费用增加，请谨慎操作。 - 对象存储数据从源端云服务提供商迁移到华为云后，存储类型和目的端桶的存储类型保持一致，与源端对象存储类型无关。 | | 发送通知 | 选择是否使用SMN消息通知功能，该功能可以通知您迁移任务的结果。 - 不勾选，不接收SMN消息。 - 勾选，接收SMN消息。勾选后，会默认您已同意"OMS服务向主题发布消息"委托授权（SMN FullAccess）。您可以在委托权限后，随时[取消授权](https://support.huaweicloud.com/usermanual-iam/iam_01_0730.html)。 勾选后，需要执行以下步骤： 1. 单击"选择主题"所在行的"添加"，弹出"选择SMN主题"对话框。 2. 选择接收SMN消息的主题，单击"确定"完成选择。 3. 单击"SMN模板"所在行的"添加"，弹出"选择SMN模板"对话框。如果设置此值，则表示用模板方式发送SMN信息。模板名称下必须有default协议的模板。 4. 选择接收SMN信息的模板，单击"确定"完成选择。 5. 设置"触发条件"参数。您可以只勾选其中一个参数或者两个参数都勾选。 - "迁移成功"表示迁移任务成功时发送SMN消息通知。 - "迁移失败"表示迁移任务失败时发送SMN消息通知。 说明： 如果您无法正常使用SMN消息通知功能，请参见[SMN消息通知功能无法正常使用怎么办？](https://support.huaweicloud.com/oms_faq/oms_faq_0005.html)。 | | 流量控制 | 设置迁移任务在指定时段的最大流量带宽。 - 选择"关闭"，不进行流量控制。 - 选择"开启"，进行流量控制。分别设置"开始时间"、"结束时间"和"限制最大流量"数值。 例如：设置开始时间08:00、结束时间12:00、限速为20MB/s，当迁移任务运行到（08:00\~12:00）该时间段时，最大迁移速度将限制为20MB/s。该时间段以外，迁移速度不做限制。 说明： - 限制最大流量的数值范围：1\~ 200MB/s 。 - 创建多条限速规则时，限速时段不能重叠。 例如：已有一条规则，限速时段是08:00\~12:00，那么07:00\~13:00，07:00\~08:00，09:00\~12:00...有时间重叠的规则，都无法创建成功。 - 开始时间不能晚于等于结束时间。 例如：不能设置时间段为23:00\~次日01:00。 - 最多可以创建5条记录。 - 时区时间以目的端Region的当地时间为准。 | | 同名对象覆盖方式 | - **大小/最后修改时间对比覆盖**：默认配置。迁移前源端对象与目的端对象同名时，通过对比源端和目的端对象大小和最后修改时间，判断是否覆盖目的端，需满足源端/目的端对象的加密状态一致。优先对比源端与目的端的最后修改时间，目的端对象的最后修改时间晚于源端对象的最后修改时间，则代表该对象目的端已存在或目的端发生修改，跳过不迁移；目的端对象的最后修改时间早于源端对象的最后修改时间，则代表源端对象发生修改，迁移覆盖目的端；如果最后修改时间相同，源端与目的端大小不同，则执行覆盖。 - **不覆盖**：对于源端和目的端存在的同名对象，跳过源端对象，保留目的端对象。 - **CRC64对比覆盖**：目前仅支持华为云/阿里云/腾讯云。迁移前源端对象与目的端对象同名时，通过对比源端和目的端对象元数据中CRC64值是否相同，判断是否覆盖目的端，需满足源端/目的端对象的加密状态一致。如果源端与目的端对象元数据中不存在CRC64值，则系统会默认使用SIZE_LAST_MODIFIED_COMPARISON_OVERWRITE(大小/最后修改时间对比覆盖)来对比进行覆盖判断。 - **全覆盖**：对于源端和目的端存在的同名对象，源端对象直接覆盖目的端对象。 | | 一致性校验 | - **大小/最后修改时间校验**：默认配置。迁移前后，通过对比源端和目的端对象大小+最后修改时间，判断对象是否已存在或迁移后数据是否完整。源端与目的端同名对象大小相同，且目的端对象的最后修改时间不早于源端对象的最后修改时间，则代表该对象已存在/迁移成功。 - **CRC64校验：**目前仅支持华为云/阿里云/腾讯云。迁移前后，通过对比源端和目的端对象元数据中CRC64值是否相同，判断对象是否已存在/迁移完成。如果源端与目的端对象元数据中不存在CRC64值，则系统会默认使用大小/最后修改时间校验方式来校验。 - **不校验：**目前仅支持HTTP/HTTPS数据源。当源端对象无法通过标准HTTP协议中的Content-Length字段获取数据大小时，系统默认数据下载成功即迁移成功，不对数据进行额外校验，且迁移时源端对象默认覆盖目的端的同名对象。当源端对象能正常通过标准HTTP协议中的Content-Length字段获取数据大小时，则采用文件大小和最后修改时间进行校验。 | | 任务优先级 | 任务较多时，可以通过设置任务优先级制定迁移顺序。 | | 描述 | 输入本次迁移任务的简单描述信息。最多可输入255个字符。 | 5. 完成以上参数配置后，单击页面右下角的"下一步"，进入"确认信息"页面。 #### 步骤四：启动并跟踪迁移任务 1. 在"确认信息"页面，确认各项迁移参数的配置无误后，单击页面右下角的"开始迁移"。如果需要修改参数配置，可以单击"上一步"返回相应页面进行修改。 2. 仔细阅读弹出的"启动前确认"，单击"确定"。出现"任务提交成功"提示后，表示迁移任务已创建成功，系统会自动启动迁移。 ![](https://support.huaweicloud.com/bestpractice-oms/public_sys-resources/note_3.0-zh-cn.png) 任务创建后，会生成一个任务ID供您快速识别。它显示在列表中任务的左上角，由源端桶名+目的端桶名+时间序列标识拼接而成。 3. 单击"返回任务列表"，可以在迁移任务列表查看和管理该迁移任务。详细介绍请参考[查看迁移任务](https://support.huaweicloud.com/usermanual-oms/zh-cn_topic_0045916969.html)和[管理迁移任务](https://support.huaweicloud.com/usermanual-oms/zh-cn_topic_0045916984.html)。