# 创建同步任务 通过在源端对象存储服务中配置事件触发器，当检测到对象新增或修改时，系统通过函数工作流服务自动调用OMS服务的数据同步接口，将变更数据即时同步至华为云OBS。 #### 约束与限制 - 当前账号过去24小时内已创建的迁移任务未满1000000个。 - 当前账号下处于"等待中"状态的迁移任务未满1000000个。 - 当前账号下处于"同步中"状态的同步任务未满5个。 #### 操作流程 创建对象存储迁移同步任务的完整操作流程，请参见[表1]。 表1同步任务操作流程 | 操作步骤 | 说明 | |:---|:---| | [准备工作] | - 账号和权限准备：注册华为账号并开通华为云，完成实名认证，获取OMS的权限，并准备源端和目的端账号的AK、SK。 - 提前创建目的端对象桶，用于存放迁移数据。 | | [步骤一：选择源端和目的端参数] | 选择需要迁移的目的端和源端，填入对应的参数。 | | [步骤二：设置任务参数，创建同步任务] | 配置任务参数，创建同步任务。 | | [步骤三：确认并跟踪同步任务] | 确认配置同步任务所填写的信息。启动同步任务后，查看同步任务内资源的运行状态、迁移阶段等信息。 | #### 准备工作 创建同步任务前，请参考[表2]中的方法和要求，准备好账号、权限及目的端OBS桶。 表2准备事项的方法和要求 | 事项 | 方法和要求 | |:---|:---| | 注册目的端华为云账号并配置权限 | 1. 注册华为账号开通华为云并完成实名认证。**如果您已开通华为云并进行实名认证，请忽略此步骤** 。 1. 访问[华为云](https://www.huaweicloud.com/)，单击"**注册**"。 2. 根据提示信息完成注册开通，详细操作请参见[注册华为账号并开通华为云](https://support.huaweicloud.com/usermanual-account/account_id_001.html)。 3. 完成个人或企业账号实名认证。 - 个人账号：[实名认证](https://support.huaweicloud.com/usermanual-account/zh-cn_topic_0077914254.html) - 企业账号：[实名认证](https://support.huaweicloud.com/usermanual-account/zh-cn_topic_0077914253.html) 2. 创建IAM用户并授权。**如果您使用华为账号（管理员账号）进行迁移，则跳过该步骤。** 1. 创建IAM用户。创建方法请参考[创建IAM用户](https://support.huaweicloud.com/usermanual-iam/iam_02_0001.html)或[创建IAM用户（新版）](https://support.huaweicloud.com/usermanual-iam5/iam_01_1144.html)。 2. 为IAM用户授权。 为IAM用户授予"OMS Administrator"、"OBS Administrator"、"KMS Administrator"和"MgC MigrateAccess"等系统策略。授权方法请参考[给IAM用户授权](https://support.huaweicloud.com/usermanual-iam/iam_01_0652.html)或[给IAM用户授权（新版）](https://support.huaweicloud.com/usermanual-iam5/iam_01_1145.html)。 如果以上系统策略不满足您的授权要求，您还可以选择创建自定义策略进行授权。自定义策略内容和创建方法，请参见[源端桶权限获取](https://support.huaweicloud.com/oms_faq/topic_0000001084426802.html#ZH-CN_TOPIC_0000001084426802__section10833112333312)和[目的端桶权限获取](https://support.huaweicloud.com/oms_faq/topic_0000001084426802.html#ZH-CN_TOPIC_0000001084426802__section52621148113411)。 3. 获取源端桶和目的端桶账号的AK/SK。 - 获取源端账号AK/SK的方法请参见[如何获取各云平台访问密钥？](https://support.huaweicloud.com/bestpractice-oms/oms_05_5301.html) - 获取目的端账号AK/SK的方法请参见[新增访问密钥](https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html)或[新增访问密钥（新版）](https://support.huaweicloud.com/usermanual-ca/ca_05_0003.html)。 | | 创建目的端对象桶 | 提前创建目的端对象桶，用于接收源端存储数据。具体操作请参见[快速创建OBS桶](https://support.huaweicloud.com/qs-obs/obs_qs_0001.html#section1)。 | #### 步骤一：选择源端和目的端参数 1. 登录[OMS管理控制台](https://console.huaweicloud.com/oms/?#/oms/migrationTaskNew)，进入"对象存储迁移服务"页面。 2. 在左侧导航树，选择"同步任务"。 3. 单击"创建同步任务"。 4. 仔细阅读弹出的隐私协议声明，勾选"同意以上隐私协议"，单击"确定"，进入"创建同步任务"页面。 5. 根据界面提示选择源端参数，具体参数参见[表3]。 表3源端选择参数 | 参数 | 说明 | |:---|:---| | 数据源 | 待迁移的源端云服务提供商，包括： - 华为云 - 亚马逊云（中国） - 阿里云 - 微软云 - 腾讯云 - 谷歌云 - 七牛云 - 青云 - 百度云 - 金山云 - 优刻得 | | APP_ID | 如果源端云服务提供商为腾讯云，则需要输入该参数，APPID 是您腾讯云账户的一个标识。 | | 访问密钥 | 源端云服务提供商的访问密钥（AK）。最大长度是100个字符。 | | 私有访问密钥 | 源端云服务提供商的私有访问密钥（SK），与AK相匹配。最大长度是100个字符。 | | KMS密钥 | 不开启：不会使用KMS密钥来加密您的源端密钥。 | | KMS密钥 | 开启：启用KMS密钥来加密您的源端密钥。 启用该功能，需要同意委托授权OMS访问KMS。同意后会授予自定义策略，自定义策略包含的内容如下： - 查询密钥信息："kms:cmk:get" - 解密数据密钥："kms:dek:decrypt" - 创建不含明文数据密钥："kms:dek:create" 如果您有授权资格，则可直接授权。授权成功后，无需再次授权。授权成功后，进行如下操作： 在密钥列表下拉菜单中选择自定义密钥。如果还未创建密钥，创建方式请参见[创建密钥](https://support.huaweicloud.com/usermanual-dew/dew_01_0178.html)。暂时只支持的密钥算法为AES_256和SM4。 说明： 使用KMS加密模式会收取相应费用。计费详情请参考[价格详情](https://www.huaweicloud.com/pricing/calculator.html#/dew)。 | | 是否指定桶名 | 当您不具备列举桶权限，但具有列举桶中对象、获取对象元数据和获取对象权限时可以开启此参数，通过指定源端桶的路径来进行迁移。 设置说明参见[表4]。 | 表4"是否指定桶名"的设置说明 | 参数 | 说明 | |:---|:---| | 开启"是否指定桶名" | 1. 在"选择区域"下拉框中选择源端桶所在区域。 2. 在"桶名或路径"文本框中输入源端桶名或带桶名的路径。对象存储迁移服务将检查源端信息填写是否正确。如果填写正确，会提示连接桶成功。 | | 关闭"是否指定桶名"（默认设置） | 单击"桶"下拉框或者单击"刷新"，选择待迁移数据所在的桶。 对象存储迁移服务将检查源端信息填写是否正确。如果填写正确，且您的账号具有列举桶名的权限，则会在"桶"中列举您名下的所有桶。 说明： 当源端AK/SK没有列举桶权限时，需要开启"是否指定桶名"。 | 6. 选择目的端，具体参数参见[表5]。 表5目的端选择参数 | 参数 | 说明 | |:---|:---| | 访问密钥 | 华为云的访问密钥（AK）。最大长度是100个字符。 | | 私有访问密钥 | 华为云的私有访问密钥（SK），与AK相匹配。最大长度是100个字符 | | KMS密钥 | 不开启：不会使用KMS密钥来加密您的目的端密钥。 | | KMS密钥 | 开启：启用KMS密钥来加密您的目的端密钥。 启用该功能，需要同意委托授权OMS访问KMS。同意后会授予自定义策略，自定义策略包含的内容如下： - 查询密钥信息："kms:cmk:get" - 解密数据密钥："kms:dek:decrypt" - 创建不含明文数据密钥："kms:dek:create" 如果您有授权资格，则可直接授权。授权成功后，无需再次授权。授权成功后，进行如下操作： 从KMS密钥中选择，在下拉菜单中选择自定义密钥。如果还未创建密钥，创建方式请参见[创建密钥](https://support.huaweicloud.com/usermanual-dew/dew_01_0178.html)。暂时只支持的密钥算法为AES_256和SM4。 说明： 使用KMS加密模式会收取相应费用。计费详情请参考[价格详情](https://www.huaweicloud.com/pricing/calculator.html#/dew)。 | | 桶名 | 存放迁移数据的华为云OBS桶。 | #### 步骤二：设置任务参数，创建同步任务 1. 单击"下一步"，进入"设置任务参数"页签。 2. 任务参数具体选项参见[表6]。 表6任务参数 | 参数 | 说明 | |:---|:---| | 任务名称（可选） | 自定义任务名称。若不填写该参数，将会默认任务名称为"源端桶-目的端桶_UUID"。确认创建后，名称暂不支持修改。 | | 元数据迁移方式 | 选择是否迁移元数据。 - 选择"**忽略元数据**"，为保证迁移任务正常运行，OMS将只迁移源端Content-Type、Content-Encoding元数据。 - 选择"**保留元数据** "，OMS会迁移支持范围内的元数据。支持中文字符、英文字符、数字和中划线"-"迁移。除上述字符外，其他所有字符均不支持。 支持的元数据类型范围：Content-Type，Content-Encoding，Content-Disposition，Content-Language，Cache-Control，Expires，WebsiteRedirectLocation，Storage-Class和自定义元数据。 | | 配置存储策略 | 选择迁移到华为云OBS后，对象的存储类型。选择默认配置时，对象将跟随目的端桶的存储策略。其他存储策略的详细说明请参见[存储类型介绍](https://support.huaweicloud.com/oms_faq/oms_faq_6221.html)。 | | 解冻归档数据 | 归档类型的对象存储要实现迁移，必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时，可以勾选此选项。目前支持以下云服务提供商的归档数据的自动解冻：华为云（归档存储（COLD））、阿里云（归档存储（Archive））、金山云（归档存储（ARCHIVE））、腾讯云（归档存储（ARCHIVE））、优刻得（归档存储（ARCHIVE））。 - 选择"关闭"：如果遇到归档类型对象，则直接判定该对象迁移失败并跳过，继续迁移其余对象。 - 选择"开启"：如果遇到归档类型对象，则自动解冻该对象并进行迁移。如果解冻失败，则判定该对象迁移失败并跳过，继续迁移其余对象。 说明： - 解冻预计耗时1分钟及以上，对象越大解冻耗时越长，超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异，具体请参考各云服务提供商的相关文档。 - 解冻归档数据的过程中会产生两种费用，一是API调用费用，二是归档数据取回费用，这些均由源端云服务提供商向您收取。 - 归档数据的解冻状态会持续一段时间，在此时间内支持对象的下载/访问，超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。 - 默认取回时间为3天，当迁移对象数超过300W或容量大小超过3TB时，为避免迁移时间过长，数据再次归档后导致迁移失败，请选择迁移任务组方式迁移。 - 在迁移任务开始后，暂停/重启操作会导致所有取回重新执行，造成解冻周期延长、存储费用增加，请谨慎操作。 - 对象存储数据从源端云服务提供商迁移到华为云后，存储类型和目的端桶的存储类型保持一致，与源端对象存储类型无关。 | | 同名对象覆盖方式 | - **大小/最后修改时间对比覆盖**：默认配置。迁移前源端对象与目的端对象同名时，通过对比源端和目的端对象大小和最后修改时间，判断是否覆盖目的端，需满足源端/目的端对象的加密状态一致。优先对比源端与目的端的最后修改时间，目的端对象的最后修改时间晚于源端对象的最后修改时间，则代表该对象目的端已存在或目的端发生修改，跳过不迁移；目的端对象的最后修改时间早于源端对象的最后修改时间，则代表源端对象发生修改，迁移覆盖目的端；如果最后修改时间相同，源端与目的端大小不同，则执行覆盖。 - **不覆盖**：对于源端和目的端存在的同名对象，跳过源端对象，保留目的端对象。 - **CRC64对比覆盖**：目前仅支持华为云/阿里云/腾讯云。迁移前源端对象与目的端对象同名时，通过对比源端和目的端对象元数据中CRC64值是否相同，判断是否覆盖目的端，需满足源端/目的端对象的加密状态一致。如果源端与目的端对象元数据中不存在CRC64值，则系统会默认使用SIZE_LAST_MODIFIED_COMPARISON_OVERWRITE(大小/最后修改时间对比覆盖)来对比进行覆盖判断。 - **全覆盖**：对于源端和目的端存在的同名对象，源端对象直接覆盖目的端对象。 | | 一致性校验 | - **大小/最后修改时间校验**：默认配置。迁移前后，通过对比源端和目的端对象大小+最后修改时间，判断对象是否已存在或迁移后数据是否完整。源端与目的端同名对象大小相同，且目的端对象的最后修改时间不早于源端对象的最后修改时间，则代表该对象已存在/迁移成功。 - **CRC64校验：**目前仅支持华为云/阿里云/腾讯云。迁移前后，通过对比源端和目的端对象元数据中CRC64值是否相同，判断对象是否已存在/迁移完成。如果源端与目的端对象元数据中不存在CRC64值，则系统会默认使用大小/最后修改时间校验方式来校验。 | | 描述 | 输入内容不允许超过255个字符。 | #### 步骤三：确认并跟踪同步任务 1. 同步任务配置完成后，单击页面右下角"下一步"，进入确认信息页面。 2. 确认同步任务信息的设置，并启动同步。 1. 浏览各项迁移参数的设置是否正确。 如果有误，可以单击"**上一步**"返回之前的页面进行修改。 2. 单击"启动同步"。仔细阅读弹出的启动前确认，单击"确定"，进入"任务提交成功"页面。 查看任务列表已新增该任务。 3. 在任务列表，单击"任务名称/ID"，进入"任务详情"页面，可查看"接收同步请求对象数（本月）"、"同步对象数（本月）"、"同步对象容量（本月）"以及您在创建同步任务时设置的各项参数信息。其他相关操作请参考[表6 同步任务其他操作]。 表7同步任务其他操作 | 操作 | 说明 | |:---|:---| | 启动同步任务 | 仅当同步任务的状态为"已停止"时，才能执行重新启动操作。出于安全考虑，停止后再次启动同步任务时，系统不会保存个人数据，需要重新输入源端、目的端的访问密钥以及私有访问密钥，以完成身份验证。 | | 停止同步任务 | 仅当同步任务状态为"同步中"时，才可执行停止操作。如需停止对源端对象存储服务数据的同步，请先在源端执行暂停操作，建议等待十五分钟后，再在同步任务页面单击"停止"。否则，由于时间差，部分已接收的同步请求对象可能会同步失败。 | | 删除同步任务 | 仅当同步任务状态为"已停止"时，才可执行停止操作。 | #### 相关链接 - [如何查看同步任务中迁移了哪些对象？](https://support.huaweicloud.com/oms_faq/oms_faq_0127.html) - [同步任务因迁移对象包含url编码名称导致迁移失败如何处理？](https://support.huaweicloud.com/oms_faq/oms_faq_0665.html) - OMS支持通过调用API接口实现创建同步任务、暂停同步任务和删除同步任务等，详细请参考[同步任务](https://support.huaweicloud.com/api-oms/topic_300000003.html)。