# 数据集成
数据集成主要包含三块：离线集成，实时集成，集成任务。
图1数据集成   
![](https://support.huaweicloud.com/idms-dma/zh-cn_image_0000001745652510.png)
#### 离线集成
主要为结构化集成和非结构化集成两种，结构化集成主要是离线集成部署方式，非结构化集成为API部署方式。
1. **结构化集成**
图2结构化集成   
![](https://support.huaweicloud.com/idms-dma/zh-cn_image_0000001792731609.png)
1. **集成作业**
图3集成作业   
![](https://support.huaweicloud.com/idms-dma/zh-cn_image_0000001792811361.png)
- 任务名称：自定义数据
- 需求类型：目前只支持新增
- 源数据源：为2.3页签数据源，可以单击新增保存新数据源，并且选择数据源后可以单击查看，数据源的相关信息
- 目标数据源：要部署到的目标库数据源，为2.3页签数据源
- 目标表名：为用户手工输入，用户填写有效目标表名后，部署环节会在目标库，schema下面自动建表
- 是否自定义SQL：用户可以自定义初始化，周期任务条件，填写完后必须单击校验且通过方可流转到下一步骤
```
选择否：为默认的全量，增量初始化和周期任务条件
选择是：用户可以自定义初始化，周期任务SQL条件。
```
2. **参数设置**
单击新增，支持常量模式和SQL模式，相当于定义全局变量，可以写入条件sql，用全局变量的方式填入到初始化和周期任务sql里面。
图4参数设置   
![](https://support.huaweicloud.com/idms-dma/zh-cn_image_0000001745811686.png)
图5参数类型   
![](https://support.huaweicloud.com/idms-dma/zh-cn_image_0000001745652530.png)
- 部署方式为全量，初始化抽取SQL为用户必填
图6部署方式-全量   
![](https://support.huaweicloud.com/idms-dma/zh-cn_image_0000001792731629.png)
- 部署方式为增量，初始化sql，增量抽取SQL为必填
图7部署方式-增量   
![](https://support.huaweicloud.com/idms-dma/zh-cn_image_0000001792811373.png)
3. **MAPPING映射**
页面输入源库，schema，表数据后会带出来源表字段，用户可勾选要部署字段并校验通过。支持复制字段，全部字段和部分字段部署集成功能。
图8MAPPING映射   
![](https://support.huaweicloud.com/idms-dma/zh-cn_image_0000001745811706.png)
4. **集成模式**
支持离线全量和离线增量集成
图9集成模式   
![](https://support.huaweicloud.com/idms-dma/zh-cn_image_0000001745652546.png)
5. **集成调度**
支持自定义集成时间范围和调度时间。
图10集成调度   
![](https://support.huaweicloud.com/idms-dma/zh-cn_image_0000001792731645.png)
2. **非结构化集成**
请求接口方式，集成非结构化任务。
图11非结构化集成   
![](https://support.huaweicloud.com/idms-dma/zh-cn_image_0000001792811389.png)
- 类型：目前支持API拉取，必填
- 任务名称：自定义任务名称，必填
- 增量模式：模式分全量和增量，必填
- API地址：请求API地址，必填
- 请求类型：目前支持GET，POST请求，必填。
- 内容类型：下拉框选择Application/json，必填。
- 超时时间：单位ms，非必填，设置超时时间。
- 一天多调：选择范围为1，2，3，分别对应每天定时调度频率，必填。
- 认证：下拉框选择范围为No Auth，Sgov，Basic Auth三种认证方式，必填。
- 请求参数：自定义请求参数，分静态参数和动态参数，支持删除。
图12请求参数   
![](https://support.huaweicloud.com/idms-dma/zh-cn_image_0000001745811722.png)
- 测试：在线校验，并提示校验结果。
#### 实时集成
实时集成方式任务，源端数据变化实时同步到目标端。
1. **集成作业**
图13集成作业-1   
![](https://support.huaweicloud.com/idms-dma/zh-cn_image_0000001745652562.png)
图14集成作业-2   
![](https://support.huaweicloud.com/idms-dma/zh-cn_image_0000001792731661.png)
- 任务名称：自定义任务名称
- 源数据源：选择2.3步骤数据源，支持在线新增和查看。
- 源schema：跟据源数据源，选择源端schema，选择了数据源之后自动带出
- 源表名：选择源数据源和源schema后，填写源表，存在提示源端表数据
- 目标数据源：选择目标端数据源
- 目标schema：选择目标端数据源后自动带出
- 目标表名：自定义目标表名，存在同名校验。
2. **MAPPING映射**
填写完实时任务参数数据，根据源表字段，可勾选要集成字段，并在线校验。
图15MAPPING映射   
![](https://support.huaweicloud.com/idms-dma/zh-cn_image_0000001792811409.png)
#### 集成任务
1. **结构化集成**
图16结构化集成   
![](https://support.huaweicloud.com/idms-dma/zh-cn_image_0000001745660480.png)
- 新建：用户操作后跳转页面，新建集成结构化集成任务
- 部署：结构化集成任务订单部署任务，正在部署或者部署完成订单不可操作部署。
- 重新部署：针对订单部署失败订单，重新部署操作。并且只能部署失败状态的订单。
- 导出：勾选列表订单批量导出，不勾选默认为当前页面所有订单
- 删除：针对未部署订单，可以执行删除操作
- 刷新：刷新页面订单的最新数据。
- 搜索：支持任务ID，任务名称或源表名称条件搜索，模糊搜索和精确搜索。
- 分页：支持选择当前页面展示数量，可以手工翻页上一页下一页，也可以跳转到任意页面列表订单操作
- 查看调度：操作后跳转到调度页面，查看订单的调度详情数据
- 详情：操作后可以查看到结构化集成订单的详情数据
2. **非结构化集成**
图17非结构化集成   
![](https://support.huaweicloud.com/idms-dma/zh-cn_image_0000001792819325.png)
- 新建：操作后跳转到非结构化集成新建任务页面
- 导出：勾选列表订单批量导出，不勾选默认为当前页面所有订单
- 刷新：刷新页面订单的最新数据
- 搜索：支持任务ID，任务名称或源表名称条件搜索，模糊搜索和精确搜索。