数据集成

离线集成

主要为结构化集成和非结构化集成两种，结构化集成主要是离线集成部署方式，非结构化集成为API部署方式。

1. 结构化集成

图2 结构化集成

1. 集成作业

图3 集成作业

• 任务名称：自定义数据
• 需求类型：目前只支持新增
• 源数据源：为2.3页签数据源，可以单击新增保存新数据源，并且选择数据源后可以单击查看，数据源的相关信息
• 目标数据源：要部署到的目标库数据源，为2.3页签数据源
• 目标表名：为用户手工输入，用户填写有效目标表名后，部署环节会在目标库，schema下面自动建表
• 是否自定义SQL：用户可以自定义初始化，周期任务条件，填写完后必须单击校验且通过方可流转到下一步骤

选择否：为默认的全量，增量初始化和周期任务条件
选择是：用户可以自定义初始化，周期任务SQL条件。

2. 参数设置

单击新增，支持常量模式和SQL模式，相当于定义全局变量，可以写入条件sql，用全局变量的方式填入到初始化和周期任务sql里面。

图4 参数设置

图5 参数类型

• 部署方式为全量，初始化抽取SQL为用户必填

图6 部署方式-全量

• 部署方式为增量，初始化sql，增量抽取SQL为必填

图7 部署方式-增量

3. MAPPING映射

页面输入源库，schema，表数据后会带出来源表字段，用户可勾选要部署字段并校验通过。支持复制字段，全部字段和部分字段部署集成功能。

图8 MAPPING映射

4. 集成模式

支持离线全量和离线增量集成

图9 集成模式

5. 集成调度

支持自定义集成时间范围和调度时间。

图10 集成调度

2. 非结构化集成

请求接口方式，集成非结构化任务。

图11 非结构化集成

• 类型：目前支持API拉取，必填
• 任务名称：自定义任务名称，必填
• 增量模式：模式分全量和增量，必填
• API地址：请求API地址，必填
• 请求类型：目前支持GET，POST请求，必填。
• 内容类型：下拉框选择Application/json，必填。
• 超时时间：单位ms，非必填，设置超时时间。
• 一天多调：选择范围为1，2，3，分别对应每天定时调度频率，必填。
• 认证：下拉框选择范围为No Auth，Sgov，Basic Auth三种认证方式，必填。
• 请求参数：自定义请求参数，分静态参数和动态参数，支持删除。

图12 请求参数

• 测试：在线校验，并提示校验结果。

实时集成

实时集成方式任务，源端数据变化实时同步到目标端。

1. 集成作业

图13 集成作业-1

图14 集成作业-2

• 任务名称：自定义任务名称
• 源数据源：选择2.3步骤数据源，支持在线新增和查看。
• 源schema：跟据源数据源，选择源端schema，选择了数据源之后自动带出
• 源表名：选择源数据源和源schema后，填写源表，存在提示源端表数据
• 目标数据源：选择目标端数据源
• 目标schema：选择目标端数据源后自动带出
• 目标表名：自定义目标表名，存在同名校验。

2. MAPPING映射

填写完实时任务参数数据，根据源表字段，可勾选要集成字段，并在线校验。

图15 MAPPING映射

集成任务

1. 结构化集成

图16 结构化集成

• 新建：用户操作后跳转页面，新建集成结构化集成任务
• 部署：结构化集成任务订单部署任务，正在部署或者部署完成订单不可操作部署。
• 重新部署：针对订单部署失败订单，重新部署操作。并且只能部署失败状态的订单。
• 导出：勾选列表订单批量导出，不勾选默认为当前页面所有订单
• 删除：针对未部署订单，可以执行删除操作
• 刷新：刷新页面订单的最新数据。
• 搜索：支持任务ID，任务名称或源表名称条件搜索，模糊搜索和精确搜索。
• 分页：支持选择当前页面展示数量，可以手工翻页上一页下一页，也可以跳转到任意页面列表订单操作
• 查看调度：操作后跳转到调度页面，查看订单的调度详情数据
• 详情：操作后可以查看到结构化集成订单的详情数据

2. 非结构化集成

图17 非结构化集成

• 新建：操作后跳转到非结构化集成新建任务页面
• 导出：勾选列表订单批量导出，不勾选默认为当前页面所有订单
• 刷新：刷新页面订单的最新数据
• 搜索：支持任务ID，任务名称或源表名称条件搜索，模糊搜索和精确搜索。