配置FDI任务

概述

通过在ROMA Connect中创建数据集成任务，您可以实现不同数据源之间的数据集成转换。本节主要提供数据集成任务（MQS->DWS）基本信息和任务计划的配置说明。

前提条件

• ROMA Connect已接入源端和目标端数据源，具体请参考接入数据源。
• ROMA Connect具备向目标端数据源写入数据的权限。
• 若需要配置同步异常的数据存储，需要完成OBS数据源的接入配置，具体请参见接入OBS数据源。

配置基本信息

• 登录ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。
• 在左侧的导航栏选择“数据集成 FDI > 任务管理”，单击页面的“创建普通任务”。
  图1 创建普通任务
  
• 在创建任务页面中配置任务基本信息。
  1. 集成模式选择实时。
     图2 创建任务
     
  2. 源端信息请选择MQS，指定为添加MQS数据源所创建的MQS。Topic使用创建MQS Topic所创topic。具体配置如下，解析路径参考图1
     图3 源端信息
     

     示例中DWS中的数据格式和Json解析的类型对应使用如下，但也可以全部使用String，经测试FDI能够自动转换数据结构：

     表1 数据类型对应

     Json解析类型	DWS字段类型
     String	VARCHAR
     Integer	INTEGER
     Double	NUMBER

  

  消息偏移设置若选择最早，则FDI会将所有MQS中的数据同步到DWS。

  消息偏移设置若选择最新，则FDI知会将启动任务后MQS中新添加的数据同步到DWS。

  3. 目的端信息请选择DWS，指定为添加DWS数据源所创建的DWS数据源。
     图4 目的端信息
     
  4. Mapping信息：可使用自动Mapping，同名字段会自动映射。
     图5 Mapping信息
     
  5. 单击保存，显示任务提交成功。
     图6 保存
     
  6. 返回任务列表，单击“启动”。
     图7 启动