配置FDI编排任务流程

概述

编排任务，通过可视化UI界面来创建任务，以降低不同经验背景用户的开发门槛。编排任务主要支持以下功能：

• 通过一个处理器节点实现一个数据源到N个目标端的采集，能够完成1:N场景的数据采集。
• 任务配置采用拖拽节点的方式实现参数配置，简化流程。
• 编排模式的数据转换模式分为映射模式和脚本模式。JavaScript脚本能够实现从源端读取数据后先进行处理再写入目标端。

前提条件

• ROMA Connect已接入源端和目标端数据源，具体请参考接入数据源概述。
• ROMA Connect具备向目标端数据源写入数据的权限。
• 若需要配置同步异常的数据存储，需要完成OBS数据源的接入配置，具体请参见ROMA Connect接入OBS数据源。

操作步骤

1. 登录ROMA Connect控制台，在左侧导航栏选择“资源管理”，在实例页面单击实例，进入实例控制台。
2. 在左侧的导航栏选择“数据集成 FDI > 任务管理”，单击页面的“创建编排任务”，进入编排任务编辑页面。
3. 添加源端节点。
   1. 在左侧的“基础组件”中拖拽“集成应用”至编排区域。
   2. 单击“集成应用”节点进行配置，配置项说明请参考表1，配置完成后单击“确认”。

      表1 集成应用配置

      参数	配置说明
      实例	选择所属项目的实例。
      应用	选择所属实例的应用。如果没有可选应用，您可单击“”新建一个集成应用，具体可参考创建ROMA Connect集成应用。

      

      您可单击弹窗左上方的“”，修改集成应用的名称。

   3. 在左侧的“数据源”中，选择类型并单击“”展开，再选择数据源组件拖拽至集成应用中，作为源端节点。
   4. 单击源端数据源节点进行配置，选择对应数据源。

      如果无可用数据源，可单击“添加数据源”进行添加，具体请参考接入数据源。

4. 添加目标端节点。
   1. 在左侧的“基础组件”中拖拽“集成应用”至编排区域。
   2. 参考步骤3添加目标端数据源集成应用。
5. 添加处理器节点。
   1. 在左侧的“处理器”中拖拽“任务调度器”至编排区域，“任务调度器”适用于数据源之间数据调度，主要用于设置任务的集成模式、执行周期等，具体参数说明见下表。

      表2 任务调度器参数配置

      参数	参数说明
      集成模式	选择数据集成的模式。 定时：指数据集成任务根据任务计划，在指定的时间执行任务，将源端数据集成到目标端。 实时：指数据集成任务不断检测源端数据的变更，并实时将新增的数据集成到目标端。 不同数据源所支持的数据集成模式有所不同，具体请参考表1。
      是否解析	选择是否透传数据。透传，即透明传输（pass-through），指的是将传输的内容由源端传输到目标端，不对数据内容做任何改变。 是：不会透传数据。 否：则会透传数据。
      使用QuartZ Cron表达式	选择是否使用QuartZ Cron表达式方式配置。 使用QuartZ Cron表达式说明参见使用QuartZCron表达式。 不使用QuartZ Cron表达式说明参见不使用QuartZCron表达式。
      开始执行时间	任务的开始执行时间。
      描述	填写对该任务调度器的描述内容。

   2. 配置“任务调度器”，任务调度器支持选择是否使用QuartZ Cron表达式方式配置，具体配置如下。
      • 使用QuartZ Cron表达式

        QuartZ Cron表达式支持配置灵活多样的任务计划，例如每天凌晨1点到凌晨4点之间，每隔15分钟执行一次任务。这种计划，简单界面配置无法实现，必须通过QuartZ Cron表达式实现。

        0 0/15 1-4 * * ?

        图1 QuartZ Cron表达式配置
        

        表3 QuartZ Cron表达式配置

        参数	配置说明
        使用QuartZ Cron表达式	选择“使用”。
        QuartZ Cron表达式	任务计划对应的QuartZ Cron表达式，ROMA Connect当前仅支持分钟级的计划，故表达式中的“秒”固定为“0”。关于QuartZ Cron表达式的使用详解，请参考附录：QuartZ Cron表达式配置说明。 例如每天凌晨1点到凌晨4点之间，每隔15分钟执行一次任务，该计划对应的QuartZ Cron表达式为： 0 0/15 1-4 * * ?

      • 不使用QuartZ Cron表达式
        图2 简单界面配置
        

        表4 简单界面配置

        参数	配置说明
        使用QuartZ Cron表达式	选择“不使用”。
        单位	任务执行周期的单位，与“调度周期”配合使用，可设置为“分”、“时”、“日”、“周”或“月”。
        调度周期	任务执行周期，根据“单位”选择的不同，可设置值的范围不同。 例如“单位”选择“日”，“调度周期”设置为“1”，则表示数据集成任务每天执行一次。需确保调度周期大于任务执行时间，否则将导致任务执行失败。

   3. 配置完成后单击“确定”。
6. 编排任务连接及配置。
   1. 从源端数据源节点出发，依次连接任务调度器、目标端数据源节点。
      图3 连接各组件
      
   2. 单击源端数据节点至任务调度器的连线进行配置，配置信息请参考配置FDI源端数据信息，配置完成后单击“确定”。
   3. 单击任务调度器至目标端数据源节点的连线进行配置，配置信息请参考配置FDI目标端数据信息，配置完成后单击“确定”。
   4. 单击页面右上方“”，查看是否存在错误的配置信息。
      • 有，重新对错误节点进行配置。
      • 无，执行下一步。
7. 单击页面右上方的“保存”，保存编排任务。