创建同步任务
使用场景
同步任务用于源端变更对象主动同步的场景,通过在源端对象存储服务配置事件触发器,当出现对象新增或修改时,通过函数工作流服务,主动调用OMS服务的数据同步接口,即时将数据同步到华为云OBS侧。
同步任务依托于源端事件触发器、函数工作流服务以及公网传输,可能存在不稳定因素,无法保证100%同步成功,因此不建议用于容灾场景。
操作场景
填写源端和目的端AK/SK并配置同步任务参数,用于后续源端同步请求数据迁移和查看同步任务详情。
目前只支持华北-北京四、华东-上海一地区。
前提条件
操作步骤
- 登录管理控制台,进入“对象存储迁移服务”页面。
- 在左侧导航树,选择“同步任务”。
- 单击“创建同步任务”。
- 仔细阅读弹出的隐私协议声明,勾选“同意以上隐私协议”,单击“确定”,进入“创建同步任务”页面。
- 选择源端/目的端。
1. 选择源端,具体参数说明参见表1。
表1 源端选择参数 参数
说明
数据源
待迁移的源端云服务提供商,包括:
- 华为云
- 亚马逊云
- 阿里云
- 微软云
- 腾讯云
- 谷歌云
- 七牛云
- 青云
- 百度云
- 金山云
- 优刻得
appID
如果源端云服务提供商为腾讯云,则需要输入该参数,appID 是您腾讯云账户的一个标识。
访问密钥
源端云服务提供商的访问密钥(AK)。最大长度是100个字符。
私有访问密钥
源端云服务提供商的私有访问密钥(SK),与AK相匹配。最大长度是100个字符。
是否指定桶名
当您不具备列举桶权限,但具有列举桶中对象、获取对象元数据和获取对象权限时可以开启此参数,通过指定源端桶的路径来进行迁移。
设置说明参见表2。
2. 选择目的端,具体参数参见表3。 - 单击“下一步”,设置任务参数。具体选项参见表4。
表4 任务参数 参数
说明
元数据迁移方式
- 忽略元数据:OMS只迁移源端Content-Type、Content-Encoding元数据。
- 保留元数据:OMS会迁移支持范围内的元数据。支持中文字符、英文字符、数字和中划线【-】迁移。除上述字符外,其他所有字符均不支持。
服务端加密
如果开启“服务端加密”,所有数据在迁移到OBS服务后都将被加密存储。
说明:默认使用SSE-KMS加密,不支持其它加密方式或者自定义加密。
使用KMS服务端加密可能会降低迁移速率10%左右。
当前区域支持KMS加密时,此参数才可用。
配置存储策略
选择迁移到华为云OBS后,对象的存储类型。存储策略说明请参见存储类型介绍。
解冻归档数据
归档类型的对象存储要实现迁移,必须预先解冻。当您的源端云服务提供商支持自动解冻归档类型数据时,可以勾选此选项。
- 选择‘是’:如果遇到归档类型对象,则自动解冻该对象并进行迁移。如果解冻失败,则判定该对象迁移失败并跳过,继续迁移其余对象。
须知:
- 目前支持以下云服务提供商的归档数据的自动解冻:华为云、阿里云、金山云、腾讯云。
- 解冻预计耗时1分钟及以上,对象越大解冻耗时越长,超过3分钟默认解冻失败。各云服务提供商的解冻耗时可能存在差异,具体请参考各云服务提供商的相关文档。
- 解冻归档数据的过程中会产生两种费用,一是API调用费用,二是归档数据取回费用,这些均由源端云服务提供商向您收取。
- 归档数据的解冻状态会持续一段时间,在此时间内支持对象的下载/访问,超过此时间后需要重新解冻。解冻状态持续时间请参考各云服务提供商的相关文档。
- 默认取回时间为3天,当迁移对象数超过300 w或容量大小超过3 TB时,为避免迁移时间过长,数据再次归档后导致迁移失败,请选择迁移任务组方式迁移。
- 在迁移任务开始后,暂停/重启操作会导致所有取回重新执行,造成解冻周期延长、存储费用增加,请谨慎操作。
- 对象存储数据从源端云服务提供商迁移到华为云后,存储类型和目的端桶的存储类型保持一致,与源端对象存储类型无关。
- 选择‘否’:如果遇到归档类型对象,则直接判定该对象迁移失败并跳过,继续迁移其余对象。
同名对象覆盖方式
- 大小/最后修改时间对比覆盖:对于源端和目的端存在的同名对象,保留最后修改时间较新的对象;如果最后修改时间相同,大小不同,则源端覆盖目的端;如果最后修改时间和大小都相同,则跳过迁移。
- 不覆盖:对于源端和目的端存在的同名对象,跳过源端对象,保留目的端对象。
- CRC64对比覆盖:对于源端和目的端存在的同名对象,对比源端和目的端对象元数据中的CRC64值,相同则跳过,不同则覆盖。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间对比覆盖策略执行。
说明:
- 目前仅支持华为云、阿里云、腾讯云。
- 需满足源端、目的端对象的加密状态一致。
- 全覆盖:对于源端和目的端存在的同名对象,源端对象直接覆盖目的端对象。
一致性校验
- 大小/最后修改时间校验:默认配置,通过对比源端和目的端对象大小+最后修改时间,判断迁移后数据是否完整。
- CRC64校验:通过对比源端和目的端对象元数据中CRC64值,判断迁移后数据是否完整。如果源端与目的端对象元数据中不存在CRC64值,则默认使用大小/最后修改时间校验策略。
- 单击“下一步”,进入确认信息页面。
确认同步任务信息的设置,并启动同步。
1. 浏览各项同步任务参数的设置是否正确。
如果有误,可以单击“上一步”返回之前的页面进行修改。
2. 单击“启动同步”。
提示任务提交成功。返回任务列表查看该同步任务。
关于状态说明,参见表5 同步任务状态。
表5 同步任务状态 状态
说明
同步中
表明源端对象存储服务的数据正在进行同步。
说明:创建同步任务后,该任务状态显示为同步中,仅代表可以接受源端发送的同步请求并进行同步,需要您前往源端完成同步请求的配置,详情请参见源端配置同步请求。通过源端配置,使得源端新增/修改对象能够发送同步请求。配置完成后,您的数据将开始进行同步迁移。
已停止
表明停止对源端对象存储服务数据的同步。
说明:如要停止对源端对象存储服务数据的同步,请先在源端执行暂停操作,建议等待十五分钟后,然后在同步任务页面单击“停止”。否则由于时间差可能会造成部分已接收到的同步请求对象同步失败。
- 操作同步任务。
1. 启动同步任务。
- 状态为“已停止”的同步任务,才可执行同步任务的重新启动。
- 停止后再次启动同步任务,出于安全考虑,系统不保存个人数据,需要重新输入源端,目的端访问密钥以及私有访问密钥,完成身份验证。
2. 停止同步任务。
- 状态为“同步中”的同步任务,才可执行同步任务的停止。
- 如要停止对源端对象存储服务数据的同步,请先在源端执行暂停操作,建议等待十五分钟后,然后在同步任务页面单击“停止”。否则由于时间差可能会造成部分已接收到的同步请求对象同步失败。
3. 删除同步任务。
- 状态为“已停止”的同步任务,才可执行同步任务的删除。