数据集成

数据源管理

支持通过手动配置或批量导入的方式接入数据源

图1 数据源管理

任务设计

• 拖拉拽设计

  支持组件化拖拉拽方式快速完成数据同步任务的设计，用户在完成设计后，可通过预检测确认设计无误，通过开始、停止、刷新、查看日志等操作调试任务。

  图2 拖拉拽设计
  
• 字段自动映射

  配置好源表及目标表后，同名字段将自动映射，并支持用户手动调整映射关系。

  图3 字段自动映射
  
• 调度配置

  支持手动启动、定时启动两种方式，实现离线数据同步任务的调度。其中，定时启动方式下，可设置生效日期，及年、月、周、日、时、分、秒等不同颗粒度的调度频率及起调时间点，并生成 cron 表达式。

  图4 调度配置
  

数据同步模式

• 全量同步

  离线同步模式中，在不设置任务前置过滤 SQL 的情况下，同步任务将执行对源端数据向目标端数据的全量同步。在组件上可以看到同步的数据量及运行时长等信息。

  图5 全量同步
  
• 数据补录

  当发生源端历史数据变更等情况时，通过在读取组件自定义 SQL，可以添加针对日期字段进行过滤的 WHERE 条件，可以实现针对特定时间段的数据补录需要。

  图6 数据补录
  
• 增量同步

  支持以当前位置、停止位置、指定位置作为采集起始点的不同模式的实时增量同步。其中，基于停止位置，可实现断点续传，使得网络中断等意外情况发生并恢复后，数据依旧可以完整无误的进行传输。

  图7 增量同步
  
• 数据整合分发

  针对分库分表数据整合场景及数据分发场景，可基于数据源逻辑组，通过多对一、一对多任务来实现批量任务的创建及运行。

  图8 数据整合分发
  

任务运维

1. 任务级监控

   任务监控支持查看任务运行状态、同步耗时、输入输出的记录数及趋势、磁盘占用及剩余空间信息、CPU 负载及内存使用性能曲线等信息。

   图9 任务级监控
   
2. 平台级监控

   运维监控是针对所有数据集成任务进行的统一监控，包括数据监控、操作日志查看、实例管理等功能。其中，监控数据可以查看包含总任务数、离线任务数、实时任务数、当前运行实例、任务完成总体曲线、整体同步趋势、任务运行时长趋势及排行、资源使用情况等信息。

   图10 平台级监控