对象存储迁移服务 OMS对象存储迁移服务 OMS

更新时间:2021/09/24 GMT+08:00
分享

源端配置同步请求

操作场景

创建同步任务后,您需要在源端配置同步请求,以确保源端云服务提供商的对象存储服务可以针对源端新增、修改对象实时调用OMS同步接口(例如通过消息通知或函数计算服务方式),以完成对源端新增、修改对象数据的同步迁移。

源端同步请求配置条件

  • 实时获取源端新增、修改对象名称。
  • 调用OMS同步接口,将源端变化对象传递给对象存储迁移服务,从而完成源端同步迁移。

源端同步请求配置方式

  • 基于源端云服务提供商的对象存储服务和函数工作流服务:通过配置源端云服务提供商的对象存储服务和函数工作流服务来触发新增、修改对象的同步请求。

    客户需要在源端云服务提供商的函数工作流服务中,创建OMS数据同步函数,然后在对象存储服务中设置基于函数工作流服务的事件通知,从而完成源端对象存储服务,函数工作流服务以及OMS服务之间的数据链调用配置。

    当源端对象发生新增、修改时,源端对象存储服务会主动调用函数工作流服务中配置的OMS数据同步函数,从而完成源端对象同步迁移。

  • 基于客户自建业务系统:通过客户自建业务系统触发新增、修改对象的同步请求。

    当源端对象发生新增,修改时,客户自建业务系统通过接收源端对象存储服务的消息通知或解析业务系统数据库变化来主动捕获对象信息,然后调用OMS服务的同步接口,从而完成源端同步迁移。

操作步骤

以源端云服务提供商为华为云,通过函数工作流服务配置源端同步请求为例:

  1. 登录管理控制台。
  2. 单击“服务列表”,选择“计算 > 函数工作流 FunctionGraph",进入“函数工作流”页面。
  3. 单击左侧导航树“函数模板”,进入函数模板页面。
  4. 函数模板页面,右上角搜索框中输入OMS,筛选出“OMS数据同步”模板,如图1 OMS数据同步模板所示。

    图1 OMS数据同步模板

    单击模板“详情”,可查看数据类别、输入参数、输出参数、注意事项等说明。

  5. 单击“使用模板”,进入创建函数页面,如图2所示。设置相关参数,参数说明参见表1

    图2 创建函数
    表1 创建函数参数说明

    参数名称

    说明

    模板

    sync-oms-data-python

    函数名称

    用户自定义。可包含字母、数字、下划线和中划线,以大/小写字母开头,以字母或数字结尾,长度不超过60个字符。

    所属应用

    default

    委托名称

    不使用任何委托。

    企业项目

    用户根据实际场景来选择,默认为default。

    描述(可选)

    用户自定义,用来对函数进行说明。

    运行时语言

    Python 3.6

    函数执行入口

    index.handler

    环境变量

    • sync_url:同步请求接收地址,从同步任务详情中获取。
    • sync_task_id:同步任务ID,从同步任务页面获取。
    • log_bucket:记录函数调用日志桶名,用来记录发送同步请求成功和失败的对象。 需要与当前区域一致。
    • obs_endpoint:OBS域名,区域需要和当前区域一致,获取地址:地区和终端节点
    • hw_ak:华为云访问密钥ID。
    • hw_sk:华为云私有访问密钥。
      说明:

      单击“添加环境变量”,可添加自定义环境变量。

  6. 单击“创建函数”按钮,进入函数详情配置界面。
  7. 代码页签,单击“依赖代码包”右侧的“添加”按钮,弹出“选择依赖包”窗口,勾选依赖包名称为“obssdk-3.0.2”的依赖包,单击“确定”。
  8. 单击配置页签,设置“执行超时时间”,建议为60s,单击右上角“保存”按钮,如图3所示。

    图3 设置执行超时时间

  9. 单击触发器页签,在页面右上角单击“创建触发器”按钮,弹出创建触发器窗口,如图4所示。设置相关参数,参数说明参见表2

    图4 创建触发器
    表2 创建触发器参数说明

    参数名称

    说明

    触发器类型

    下拉选择对象存储服务(OBS)。

    下拉选择源端需要进行同步复制的桶。

    事件

    用户根据实际场景来选择。

    事件通知名称(可选)

    事件名称会自动生成,用户也可自定义。

    前缀(可选)

    输入一个可选性前缀来限制对以此关键字开头的对象的通知。

    后缀(可选)

    输入一个可选性后缀来限制对以此关键字结尾的对象的通知。

  10. 单击“确定”,完成触发器的创建。

    源端同步请求函数工作流创建与配置完成后,需要配置测试事件来进行检验。

  11. 在函数详情配置界面右上角,单击"请选择测试事件"下拉菜单,选择“配置测试事件”,弹出配置测试事件页面,如图5所示。配置相关参数,参见表3

    图5 配置测试事件
    表3 参数配置说明

    参数

    配置说明

    配置测试事件

    选择创建新的测试事件

    事件模板

    下拉选择“obs-event-template”

    事件名称

    自动生成,用户也可自定义

  12. 单击“保存”按钮,测试事件保存成功。
  13. 单击函数详情配置界面右上角“测试”按钮,页面上方将返回测试执行结果。

    图6 测试执行结果

    配置测试结果成功后,在源端桶上传一个对象,等待10分钟后,该对象会同步到目的端桶中。

相关操作

如果...

那么...

查看发送同步请求成功对象列表

获取路径:oms_source_record/success_object/

查看发送同步请求失败对象列表

获取路径:oms_source_record/failed_object/

路径下的对象名即为同步对象。

分享:

    相关文档

    相关产品