更新时间:2023-07-26 GMT+08:00

配置任务基本信息

概述

通过在ROMA Connect中创建数据集成任务,您可以实现不同数据源之间的数据集成转换。ROMA Connect根据您在数据集成任务中的配置,决定如何将指定的源端的一个数据表中的数据集成到目标端的一个数据表中。

数据集成任务的配置分为任务基本信息、制定计划(可选)、源端信息、目标端信息、Mapping信息和异常数据存储(可选)、任务完成后执行(可选)几个部分,本节及接下来的几个小节将对这几部分分别进行介绍。本节主要提供数据集成任务基本信息和任务计划的配置说明。

前提条件

  • ROMA Connect已接入源端和目标端数据源,具体请参考接入数据源
  • ROMA Connect具备向目标端数据源写入数据的权限。
  • 若需要配置同步异常的数据存储,需要完成OBS数据源的接入配置,具体请参见接入OBS数据源

配置基本信息

  1. 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。
  2. 在左侧的导航栏选择“数据集成 FDI > 任务管理”,单击页面的“创建任务”。
  3. 在创建任务页面中配置任务基本信息。
    表1 任务基本信息

    参数

    配置说明

    任务名称

    填写任务的名称,根据规划自定义。建议您按照一定的命名规则填写任务名称,方便您快速识别和查找。

    描述

    填写任务的描述信息。

    集成模式

    选择数据集成的模式。

    • 定时:指数据集成任务根据任务计划,在指定的时间执行任务,将源端数据集成到目标端。
    • 实时:指数据集成任务不断检测源端数据的变更,并实时将新增的数据集成到目标端。

    不同数据源所支持的数据集成模式有所不同,具体请参考表1

    任务标签

    添加任务标签,用来对任务进行分类,方便用户快速查询。可选择已有的标签进行关联,如果没有可单击添加按钮,添加新标签,新标签会在任务保存时被保存,再创建任务时可直接搜索该标签。

  4. 完成基本信息配置后,继续进行下一部分配置。

(可选)配置任务计划

如果任务的“集成模式”选择了“定时”,则您还需要为定时任务配置任务计划,告知ROMA Connect何时执行任务。

  • 在创建数据集成任务后,如需修改任务计划,请先停止任务。
  • 如果要集成同步的数据量较大,且任务的执行时间间隔较短,会出现上一次任务调度还没有执行完,下一次任务调度时间点已到的情况。此时ROMA Connect会暂停执行新的调度,等待上一次调度执行完成。
  1. 在创建任务页面中配置任务计划。ROMA Connect提供了两种配置任务计划的方式:
    • 简单界面配置

      界面配置当前仅支持配置简单的周期循环计划,例如每隔几分钟、几小时或几天执行一次。

      图1 简单界面配置
      表2 简单界面配置

      参数

      配置说明

      QuartZ Cron表达式

      选择“不使用”。

      单位

      任务执行周期的单位,与“调度周期”配合使用,可设置为“分”、“时”、“日”、“周”或“月”。

      调度周期

      任务执行周期,根据“单位”选择的不同,可设置值的范围不同。

      例如“单位”选择“日”,“调度周期”设置为“1”,则表示数据集成任务每天执行一次。

      生效时间

      任务的开始执行时间,但该时间点不会立即执行任务,而是等下一个调度周期才开始执行。

      例如生效时间为2020-2-2 02:02:02,调度周期为1日,则启动任务计划后,任务的首次执行时间为2020-2-3 02:02:02。

      描述

      填写任务计划的描述信息。

    • QuartZ Cron表达式配置

      QuartZ Cron表达式支持配置灵活多样的任务计划,例如每天凌晨1点到凌晨4点之间,每隔15分钟执行一次任务。这种计划,简单界面配置无法实现,必须通过QuartZ Cron表达式实现。

      0 0/15 1-4 * * ?
      图2 QuartZ Cron表达式配置
      表3 QuartZ Cron表达式配置

      参数

      配置说明

      QuartZ Cron表达式

      选择“使用”。

      表达式

      任务计划对应的QuartZ Cron表达式,ROMA Connect当前仅支持分钟级的计划,故表达式中的“秒”固定为“0”。

      例如每天凌晨1点到凌晨4点之间,每隔15分钟执行一次任务,该计划对应的QuartZ Cron表达式为:

      0 0/15 1-4 * * ?

      生效时间

      任务的开始执行时间,但该时间点不会立即执行任务,而是等下一个调度周期才开始执行。

      例如生效时间为2020-2-2 02:02:02,按照上述的QuartZ Cron表达式样例,则启动任务计划后,任务的首次执行时间为2020-2-3 02:15:00。

      描述

      填写任务计划的描述信息。

  2. 完成任务计划配置后,继续进行下一部分配置,配置源端数据信息