数据管理与分析
数据管理与分析
- 帆软商业智能解决方案
- 滴普科技数据智能平台解决方案
- 端边云车联网Serverless数据湖解决方案
- 华为云通用数据使能解决方案实践
- 天眼查商业查询解决方案实践
- 快速构建高可用TiDB集群
- 快速构建高可用Flink集群
- 华为云政务场景数据使能解决方案
- 数鑫科技领域数据空间解决方案
- 普元元数据资产管理解决方案
- 驾驶行为分析
- 软通动力数据中台及数据治理服务解决方案实践
- 中软国际数据治理专业服务解决方案实践
- 永洪商业智能解决方案
- 基于OBS配置大数据存算分离集群
- 翼海云峰大数据服务解决方案
- 观远商业智能数据分析解决方案
- 八六三智能数据平台解决方案
- 文档下载
- 通用参考
链接复制成功！
数据集成
数据源管理
支持通过手动配置或批量导入的方式接入数据源
图1 数据源管理
任务设计
数据同步模式
- 全量同步
离线同步模式中，在不设置任务前置过滤 SQL 的情况下，同步任务将执行对源端数据向目标端数据的全量同步。在组件上可以看到同步的数据量及运行时长等信息。
图5 全量同步
- 数据补录
当发生源端历史数据变更等情况时，通过在读取组件自定义 SQL，可以添加针对日期字段进行过滤的 WHERE 条件，可以实现针对特定时间段的数据补录需要。
图6 数据补录
- 增量同步
支持以当前位置、停止位置、指定位置作为采集起始点的不同模式的实时增量同步。其中，基于停止位置，可实现断点续传，使得网络中断等意外情况发生并恢复后，数据依旧可以完整无误的进行传输。
图7 增量同步
- 数据整合分发
针对分库分表数据整合场景及数据分发场景，可基于数据源逻辑组，通过多对一、一对多任务来实现批量任务的创建及运行。
图8 数据整合分发
父主题： 产品操作
