更新时间:2023-09-21 GMT+08:00

配置编排任务流程

概述

编排任务,通过可视化UI界面来创建任务,以降低不同经验背景用户的开发门槛。编排任务主要支持以下功能:

  • 通过一个处理器节点实现一个数据源到N个目标端的采集,能够完成1:N场景的数据采集。
  • 任务配置采用拖拽节点的方式实现参数配置,简化流程。
  • 编排模式的数据转换模式分为映射模式和脚本模式。JavaScript脚本能够实现从源端读取数据后先进行处理再写入目标端。

前提条件

  • ROMA Connect已接入源端和目标端数据源,具体请参考接入数据源
  • ROMA Connect具备向目标端数据源写入数据的权限。
  • 若需要配置同步异常的数据存储,需要完成OBS数据源的接入配置,具体请参见接入OBS数据源

操作步骤

  1. 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。
  2. 在左侧的导航栏选择“数据集成 FDI > 任务管理”,单击页面的“创建编排任务”,进入编排任务编辑页面。
  3. 添加源端节点。
    1. 在左侧的“基础组件”中拖拽“集成应用”至编排区域。
    2. 单击“集成应用”节点进行配置,配置项说明请参考表1,配置完成后单击“确认”。
      表1 集成应用配置

      参数

      配置说明

      实例

      选择所属项目的实例。

      应用

      选择所属实例的应用。如果没有可选应用,您可单击“”新建一个集成应用,具体可参考创建集成应用

      您可单击弹窗左上方的“”,修改集成应用的名称。

    3. 在左侧的“数据源”中,选择类型并单击“”展开,再选择数据源组件拖拽至集成应用中,作为源端节点。
    4. 单击源端数据源节点进行配置,选择对应数据源。

      如果无可用数据源,可单击“添加数据源”进行添加,具体请参考数据源管理

  4. 添加目标端节点。
    1. 在左侧的“基础组件”中拖拽“集成应用”至编排区域。
    2. 参考步骤3添加目标端数据源集成应用。
  5. 添加处理器节点。
    1. 在左侧的“处理器”中拖拽“任务调度器”至编排区域,“任务调度器”适用于数据源之间数据调度,主要用于设置任务的集成模式、执行周期等,具体参数说明见下表。
      表2 任务调度器参数配置

      参数

      参数说明

      集成模式

      选择数据集成的模式。

      • 定时:指数据集成任务根据任务计划,在指定的时间执行任务,将源端数据集成到目标端。
      • 实时:指数据集成任务不断检测源端数据的变更,并实时将新增的数据集成到目标端。

      不同数据源所支持的数据集成模式有所不同,具体请参考表1

      是否解析

      选择是否透传数据。透传,即透明传输(pass-through),指的是将传输的内容由源端传输到目标端,不对数据内容做任何改变。

      • 是:不会透传数据。
      • 否:则会透传数据。

      使用QuartZ Cron表达式

      选择是否使用QuartZ Cron表达式方式配置。

      开始执行时间

      任务的开始执行时间。

      描述

      填写对该任务调度器的描述内容。

    2. 配置“任务调度器”,任务调度器支持选择是否使用QuartZ Cron表达式方式配置,具体配置如下。
      • 使用QuartZ Cron表达式

        QuartZ Cron表达式支持配置灵活多样的任务计划,例如每天凌晨1点到凌晨4点之间,每隔15分钟执行一次任务。这种计划,简单界面配置无法实现,必须通过QuartZ Cron表达式实现。

        0 0/15 1-4 * * ?
        图1 QuartZ Cron表达式配置
        表3 QuartZ Cron表达式配置

        参数

        配置说明

        使用QuartZ Cron表达式

        选择“使用”。

        QuartZ Cron表达式

        任务计划对应的QuartZ Cron表达式,ROMA Connect当前仅支持分钟级的计划,故表达式中的“秒”固定为“0”。关于QuartZ Cron表达式的使用详解,请参考附录:QuartZ Cron表达式配置说明

        例如每天凌晨1点到凌晨4点之间,每隔15分钟执行一次任务,该计划对应的QuartZ Cron表达式为:

        0 0/15 1-4 * * ?
      • 不使用QuartZ Cron表达式
        图2 简单界面配置
        表4 简单界面配置

        参数

        配置说明

        使用QuartZ Cron表达式

        选择“不使用”。

        单位

        任务执行周期的单位,与“调度周期”配合使用,可设置为“分”、“时”、“日”、“周”或“月”。

        调度周期

        任务执行周期,根据“单位”选择的不同,可设置值的范围不同。

        例如“单位”选择“日”,“调度周期”设置为“1”,则表示数据集成任务每天执行一次。需确保调度周期大于任务执行时间,否则将导致任务执行失败。

    3. 配置完成后单击“确定”。
  6. 编排任务连接及配置。
    1. 从源端数据源节点出发,依次连接任务调度器、目标端数据源节点。
      图3 连接各组件
    2. 单击源端数据节点至任务调度器的连线进行配置,配置信息请参考配置源端数据信息,配置完成后单击“确定”。
    3. 单击任务调度器至目标端数据源节点的连线进行配置,配置信息请参考配置目标端数据信息,配置完成后单击“确定”。
    4. 单击页面右上方“”,查看是否存在错误的配置信息。
      • 有,重新对错误节点进行配置。
      • 无,执行下一步。
  7. 单击页面右上方的“保存”,保存编排任务。