数据集成API 集群管理 作业管理 连接管理 附：公共数据结构

查看更多 →

数据集成指导 业务使用介绍 接入数据源 创建数据集成任务（普通任务） 创建数据集成任务（组合任务） 创建数据集成任务（编排任务） 启停数据集成任务 数据集成任务管理 连接器

查看更多 →

数据集成API 数据源管理 任务监控管理 任务管理

查看更多 →

MD5校验一致性 支持使用MD5校验，检查端到端文件的一致性，并输出校验结果。 脏数据归档 支持将迁移过程中处理失败的、被清洗过滤掉的、不符合字段转换或者不符合清洗规则的数据单独归档到脏数据日志中，便于用户查看。并支持设置脏数据比例阈值，来决定任务是否成功。 CDM 迁移原理 用户使用CDM服务时

查看更多 →

timeout”错误 Kafka到Mysql的实时任务时，MQS中的Topic下有数据，但是FDI任务没有采集到数据。 Mysql到Mysql的定时任务，源端有类型为tinyint(1)，值为2的字段，但是采集到目标端值就变成了1 目标端数据源为公网Kafka时，定时任务目标端报“The task

查看更多 →

什么是数据库？ 数据库是“按照数据结构来组织、存储和管理数据的仓库”。 广义上的数据库，在20世纪60年代已经在计算机中应用了。但这个阶段的数据库结构主要是层次或网状的，且数据和程序之间具备非常强的依赖性，应用较为有限。 现在通常所说的数据库指的是关系型数据库。关系数据库是指采

查看更多 →

数据仓库 自定义属性 表1 数据仓库自定义属性权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 获取数据仓库自定义属性列表 GET /v1.0/{project_id}/common/wareho

查看更多 →

> 条件（Condition） GaussDB (DWS)服务不支持在SCP中的条件键中配置服务级的条件键。 GaussDB(DWS)可以使用适用于所有服务的全局条件键，请参考全局条件键。 父主题： 大数据

查看更多 →

数据仓库优化与支持服务 产品介绍 常见问题 计费说明 父主题： 优化与提升

查看更多 →

数据仓库自定义属性 获取数据仓库自定义属性列表 父主题： API

查看更多 →

数据仓库咨询与规划服务 产品介绍 常见问题 计费说明 父主题： 咨询与规划

查看更多 →

什么是数据库？ 数据库是“按照数据结构来组织、存储和管理数据的仓库”。 广义上的数据库，在20世纪60年代已经在计算机中应用了。但这个阶段的数据库结构主要是层次或网状的，且数据和程序之间具备非常强的依赖性，应用较为有限。 现在通常所说的数据库指的是关系型数据库。关系数据库是指采

查看更多 →

数据集成配置数据搬迁 当前管理中心支持直接搬迁数据集成组件中的CDM作业及其中的连接数据。 您可以通过管理中心配置数据搬迁进行搬迁，也可以参考本章节通过CDM组件的导入导出功能进行搬迁。 数据集成数据搬迁依赖于CDM的批量导入导出作业功能。 CDM上支持导出的数据包括配置的连接和作业，可以导出到本地保存。

查看更多 →

什么是开天集成工作台 开天集成工作台（MacroVerse SmartStage for Integrators，MSSI）是一个助力企业应用创新的开放的集成平台。基于元数据、可配置的集成框架，汇聚丰富的集成资产以及开发工具，帮助企业实现业务流程的自动化，连通企业内的应用孤岛，以及创新应用的高效（低代码）开发。

查看更多 →

数据仓库上云与实施服务 产品介绍 常见问题 计费说明 父主题： 上云与实施

查看更多 →

图解数据仓库服务

查看更多 →

概述 数据集成围绕GaussDB(DWS)，提供了简单易用的迁移能力及多种数据源到DWS的集成能力，降低用户数据源迁移和集成的复杂性，是一种高效易用的数据集成服务。目前数据源支持从Kafka、MySQL、Oracle和IoT源端迁移至GaussDB(DWS)目的端。 该特性仅8.2

查看更多 →

数据集成前探查 数据探查是指用适当的统计、分析等方法对原始数据进行分析，对其特征加以汇总和理解，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程，以求在数据入湖前最大化地了解数据现状，为数据集成方案的设计提供数据依据。 数据探查分析流程 依据数据集成入湖清单展开数据探查

查看更多 →

否写入脏数据”，如图12所示。 抽取并发数：您可以根据业务量进行配置。数据源端如果是文件类型，当有多个文件时，增大并发数可以提升抽取速率。 是否写入脏数据：建议配置为“是”，然后参考图12配置相关参数。脏数据是指与目的端字段不匹的数据，该数据可以被记录到指定的OBS桶中。用户配置

查看更多 →

G）配置为4。 表每行数据大小为1MB以下的可以多并发抽取，超过1MB的建议单线程抽取数据。 是否写入脏数据：建议配置为“是”，然后参考图10配置相关参数。脏数据是指与目的端字段不匹的数据，该数据可以被记录到指定的OBS桶中。用户配置脏数据归档后，正常数据可以写入目的端，迁移作业不会因脏数据中断。

查看更多 →

数据集成应用示例 本节通过cURL调用CDM API，迁移本地MySQL数据库中的数据到云上服务DWS为例，介绍使用CDM API的基本流程。 获取token 获取用户的token，因为在后续的请求中需要将token放到请求消息头中作为认证。 创建CDM集群 如果您已经创建过CD

查看更多 →