数据管理与分析
数据管理与分析
- 帆软商业智能解决方案
- 滴普科技数据智能平台解决方案
- 端边云车联网Serverless数据湖解决方案
- 华为云通用数据使能解决方案实践
- 天眼查商业查询解决方案实践
- 快速构建高可用TiDB集群
- 快速构建高可用Flink集群
- 华为云政务场景数据使能解决方案
- 数鑫科技领域数据空间解决方案
- 普元元数据资产管理解决方案
- 驾驶行为分析
- 软通动力数据中台及数据治理服务解决方案实践
- 中软国际数据治理专业服务解决方案实践
- 永洪商业智能解决方案
- 基于OBS配置大数据存算分离集群
- 翼海云峰大数据服务解决方案
- 观远商业智能数据分析解决方案
- 八六三智能数据平台解决方案
- 文档下载
- 通用参考
链接复制成功！
数据集成
数据集成主要包含三块：离线集成，实时集成，集成任务。
图1 数据集成
离线集成
主要为结构化集成和非结构化集成两种，结构化集成主要是离线集成部署方式，非结构化集成为API部署方式。
- 结构化集成
图2 结构化集成
- 集成作业
图3 集成作业
- 任务名称：自定义数据
- 需求类型：目前只支持新增
- 源数据源：为2.3页签数据源，可以单击新增保存新数据源，并且选择数据源后可以单击查看，数据源的相关信息
- 目标数据源：要部署到的目标库数据源，为2.3页签数据源
- 目标表名：为用户手工输入，用户填写有效目标表名后，部署环节会在目标库，schema下面自动建表
- 是否自定义SQL：用户可以自定义初始化，周期任务条件，填写完后必须单击校验且通过方可流转到下一步骤
选择否：为默认的全量，增量初始化和周期任务条件 选择是：用户可以自定义初始化，周期任务SQL条件。
- 参数设置
单击新增，支持常量模式和SQL模式，相当于定义全局变量，可以写入条件sql，用全局变量的方式填入到初始化和周期任务sql里面。
图4 参数设置
图5 参数类型
- 部署方式为全量，初始化抽取SQL为用户必填
图6 部署方式-全量
- 部署方式为增量，初始化sql，增量抽取SQL为必填
图7 部署方式-增量
- MAPPING映射
页面输入源库，schema，表数据后会带出来源表字段，用户可勾选要部署字段并校验通过。支持复制字段，全部字段和部分字段部署集成功能。
图8 MAPPING映射
- 集成模式
支持离线全量和离线增量集成
图9 集成模式
- 集成调度
支持自定义集成时间范围和调度时间。
图10 集成调度
- 非结构化集成
请求接口方式，集成非结构化任务。
图11 非结构化集成
- 类型：目前支持API拉取，必填
- 任务名称：自定义任务名称，必填
- 增量模式：模式分全量和增量，必填
- API地址：请求API地址，必填
- 请求类型：目前支持GET，POST请求，必填。
- 内容类型：下拉框选择Application/json，必填。
- 超时时间：单位ms，非必填，设置超时时间。
- 一天多调：选择范围为1，2，3，分别对应每天定时调度频率，必填。
- 认证：下拉框选择范围为No Auth，Sgov，Basic Auth三种认证方式，必填。
- 请求参数：自定义请求参数，分静态参数和动态参数，支持删除。
图12 请求参数
- 测试：在线校验，并提示校验结果。
实时集成
实时集成方式任务，源端数据变化实时同步到目标端。
- 集成作业
图13 集成作业-1
图14 集成作业-2
- 任务名称：自定义任务名称
- 源数据源：选择2.3步骤数据源，支持在线新增和查看。
- 源schema：跟据源数据源，选择源端schema，选择了数据源之后自动带出
- 源表名：选择源数据源和源schema后，填写源表，存在提示源端表数据
- 目标数据源：选择目标端数据源
- 目标schema：选择目标端数据源后自动带出
- 目标表名：自定义目标表名，存在同名校验。
- MAPPING映射
填写完实时任务参数数据，根据源表字段，可勾选要集成字段，并在线校验。
图15 MAPPING映射
集成任务
- 结构化集成
图16 结构化集成
- 新建：用户操作后跳转页面，新建集成结构化集成任务
- 部署：结构化集成任务订单部署任务，正在部署或者部署完成订单不可操作部署。
- 重新部署：针对订单部署失败订单，重新部署操作。并且只能部署失败状态的订单。
- 导出：勾选列表订单批量导出，不勾选默认为当前页面所有订单
- 删除：针对未部署订单，可以执行删除操作
- 刷新：刷新页面订单的最新数据。
- 搜索：支持任务ID，任务名称或源表名称条件搜索，模糊搜索和精确搜索。
- 分页：支持选择当前页面展示数量，可以手工翻页上一页下一页，也可以跳转到任意页面列表订单操作
- 查看调度：操作后跳转到调度页面，查看订单的调度详情数据
- 详情：操作后可以查看到结构化集成订单的详情数据
- 非结构化集成
图17 非结构化集成
- 新建：操作后跳转到非结构化集成新建任务页面
- 导出：勾选列表订单批量导出，不勾选默认为当前页面所有订单
- 刷新：刷新页面订单的最新数据
- 搜索：支持任务ID，任务名称或源表名称条件搜索，模糊搜索和精确搜索。
父主题： 数据集成平台操作手册
