创建同步任务
通过在源端对象存储服务中配置事件触发器,当检测到对象新增或修改时,系统通过函数工作流服务自动调用OMS服务的数据同步接口,将变更数据即时同步至华为云OBS。
约束与限制
- 当前账号过去24小时内已创建的迁移任务未满1000000个。
- 当前账号下处于“等待中”状态的迁移任务未满1000000个。
- 当前账号下处于“同步中”状态的同步任务未满5个。
操作流程
创建对象存储迁移同步任务的完整操作流程,请参见表1。
准备工作
创建同步任务前,请参考表2中的方法和要求,准备好账号、权限及目的端OBS桶。
| 事项 | 方法和要求 |
|---|---|
| 注册目的端华为云账号并配置权限 |
|
| 创建目的端对象桶 | 提前创建目的端对象桶,用于接收源端存储数据。具体操作请参见快速创建OBS桶。 |
步骤一:选择源端和目的端参数
- 登录OMS管理控制台,进入“对象存储迁移服务”页面。
- 在左侧导航树,选择“同步任务”。
- 单击“创建同步任务”。
- 仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入“创建同步任务”页面。
- 根据界面提示选择源端参数,具体参数参见表3。
表3 源端选择参数 参数
说明
数据源
待迁移的源端云服务提供商,包括:
- 华为云
- 亚马逊云(中国)
- 阿里云
- 微软云
- 腾讯云
- 谷歌云
- 七牛云
- 青云
- 百度云
- 金山云
- 优刻得
APP_ID
如果源端云服务提供商为腾讯云,则需要输入该参数,APPID 是您腾讯云账户的一个标识。
访问密钥
源端云服务提供商的访问密钥(AK)。最大长度是100个字符。
私有访问密钥
源端云服务提供商的私有访问密钥(SK),与AK相匹配。最大长度是100个字符。
KMS密钥
不开启:不会使用KMS密钥来加密您的源端密钥。
开启:启用KMS密钥来加密您的源端密钥。
启用该功能,需要同意委托授权OMS访问KMS。同意后会授予自定义策略,自定义策略包含的内容如下:
- 查询密钥信息:"kms:cmk:get"
- 解密数据密钥:"kms:dek:decrypt"
- 创建不含明文数据密钥:"kms:dek:create"
如果您有授权资格,则可直接授权。授权成功后,无需再次授权。授权成功后,进行如下操作:
在密钥列表下拉菜单中选择自定义密钥。如果还未创建密钥,创建方式请参见创建密钥。暂时只支持的密钥算法为AES_256和SM4。
说明:使用KMS加密模式会收取相应费用。计费详情请参考价格详情。
是否指定桶名
当您不具备列举桶权限,但具有列举桶中对象、获取对象元数据和获取对象权限时可以开启此参数,通过指定源端桶的路径来进行迁移。
设置说明参见表4。
- 选择目的端,具体参数参见表5。
表5 目的端选择参数 参数
说明
访问密钥
华为云的访问密钥(AK)。最大长度是100个字符。
私有访问密钥
华为云的私有访问密钥(SK),与AK相匹配。最大长度是100个字符
KMS密钥
不开启:不会使用KMS密钥来加密您的目的端密钥。
开启:启用KMS密钥来加密您的目的端密钥。
启用该功能,需要同意委托授权OMS访问KMS。同意后会授予自定义策略,自定义策略包含的内容如下:
- 查询密钥信息:"kms:cmk:get"
- 解密数据密钥:"kms:dek:decrypt"
- 创建不含明文数据密钥:"kms:dek:create"
如果您有授权资格,则可直接授权。授权成功后,无需再次授权。授权成功后,进行如下操作:
从KMS密钥中选择,在下拉菜单中选择自定义密钥。如果还未创建密钥,创建方式请参见创建密钥。暂时只支持的密钥算法为AES_256和SM4。
说明:使用KMS加密模式会收取相应费用。计费详情请参考价格详情。
桶名
存放迁移数据的华为云OBS桶。
步骤二:设置任务参数,创建同步任务
- 单击“下一步”,进入“设置任务参数”页签。
- 任务参数具体选项参见表6。
表6 任务参数 参数
说明
任务名称(可选)
自定义任务名称。若不填写该参数,将会默认任务名称为“源端桶-目的端桶_UUID”。确认创建后,名称暂不支持修改。
元数据迁移方式
选择是否迁移元数据。
- 选择“忽略元数据”,为保证迁移任务正常运行,OMS将只迁移源端Content-Type、Content-Encoding元数据。
- 选择“保留元数据”,OMS会迁移支持范围内的元数据。支持中文字符、英文字符、数字和中划线“-”迁移。除上述字符外,其他所有字符均不支持。
支持的元数据类型范围:Content-Type,Content-Encoding,Content-Disposition,Content-Language,Cache-Control,Expires,WebsiteRedirectLocation,Storage-Class和自定义元数据。
配置存储策略
选择迁移到华为云OBS后,对象的存储类型。选择默认配置时,对象将跟随目的端桶的存储策略。其他存储策略的详细说明请参见存储类型介绍。
解冻归档数据
归档类型的对象存储要实现迁移,必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时,可以勾选此选项。目前支持以下云服务提供商的归档数据的自动解冻:华为云(归档存储(COLD))、阿里云(归档存储(Archive))、金山云(归档存储(ARCHIVE))、腾讯云(归档存储(ARCHIVE))、优刻得(归档存储(ARCHIVE))。
- 选择“关闭”:如果遇到归档类型对象,则直接判定该对象迁移失败并跳过,继续迁移其余对象。
- 选择“开启”:如果遇到归档类型对象,则自动解冻该对象并进行迁移。如果解冻失败,则判定该对象迁移失败并跳过,继续迁移其余对象。 说明:
- 解冻预计耗时1分钟及以上,对象越大解冻耗时越长,超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异,具体请参考各云服务提供商的相关文档。
- 解冻归档数据的过程中会产生两种费用,一是API调用费用,二是归档数据取回费用,这些均由源端云服务提供商向您收取。
- 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。
- 默认取回时间为3天,当迁移对象数超过300W或容量大小超过3TB时,为避免迁移时间过长,数据再次归档后导致迁移失败,请选择迁移任务组方式迁移。
- 在迁移任务开始后,暂停/重启操作会导致所有取回重新执行,造成解冻周期延长、存储费用增加,请谨慎操作。
- 对象存储数据从源端云服务提供商迁移到华为云后,存储类型和目的端桶的存储类型保持一致,与源端对象存储类型无关。
同名对象覆盖方式
- 大小/最后修改时间对比覆盖:默认配置。迁移前源端对象与目的端对象同名时,通过对比源端和目的端对象大小和最后修改时间,判断是否覆盖目的端,需满足源端/目的端对象的加密状态一致。优先对比源端与目的端的最后修改时间,目的端对象的最后修改时间晚于源端对象的最后修改时间,则代表该对象目的端已存在或目的端发生修改,跳过不迁移;目的端对象的最后修改时间早于源端对象的最后修改时间,则代表源端对象发生修改,迁移覆盖目的端;如果最后修改时间相同,源端与目的端大小不同,则执行覆盖。
- 不覆盖:对于源端和目的端存在的同名对象,跳过源端对象,保留目的端对象。
- CRC64对比覆盖:目前仅支持华为云/阿里云/腾讯云。迁移前源端对象与目的端对象同名时,通过对比源端和目的端对象元数据中CRC64值是否相同,判断是否覆盖目的端,需满足源端/目的端对象的加密状态一致。如果源端与目的端对象元数据中不存在CRC64值,则系统会默认使用SIZE_LAST_MODIFIED_COMPARISON_OVERWRITE(大小/最后修改时间对比覆盖)来对比进行覆盖判断。
- 全覆盖:对于源端和目的端存在的同名对象,源端对象直接覆盖目的端对象。
一致性校验
- 大小/最后修改时间校验:默认配置。迁移前后,通过对比源端和目的端对象大小+最后修改时间,判断对象是否已存在或迁移后数据是否完整。源端与目的端同名对象大小相同,且目的端对象的最后修改时间不早于源端对象的最后修改时间,则代表该对象已存在/迁移成功。
- CRC64校验:目前仅支持华为云/阿里云/腾讯云。迁移前后,通过对比源端和目的端对象元数据中CRC64值是否相同,判断对象是否已存在/迁移完成。如果源端与目的端对象元数据中不存在CRC64值,则系统会默认使用大小/最后修改时间校验方式来校验。
描述
输入内容不允许超过255个字符。
步骤三:确认并跟踪同步任务
- 同步任务配置完成后,单击页面右下角“下一步”,进入确认信息页面。
- 确认同步任务信息的设置,并启动同步。
- 在任务列表,单击“任务名称/ID”,进入“任务详情”页面,可查看“接收同步请求对象数(本月)”、“同步对象数(本月)”、“同步对象容量(本月)”以及您在创建同步任务时设置的各项参数信息。其他相关操作请参考表6 同步任务其他操作。
相关链接
- 如何查看同步任务中迁移了哪些对象?
- 同步任务因迁移对象包含url编码名称导致迁移失败如何处理?
- OMS支持通过调用API接口实现创建同步任务、暂停同步任务和删除同步任务等,详细请参考同步任务。