使用 DLI Flink作业实时同步Kafka数据至( GaussDB )DWS集群 本实践演示通过数据湖探索服务 DLI Flink作业将分布式消息服务 Kafka的消费数据实时同步至GaussDB(DWS) 数据仓库 ，实现Kafka实时入库到GaussDB(DWS)的过程。演示过程包括实时写入和更新已有数据的场景。

查看更多 →

查询GaussDB(DWS)数据 GaussDB(DWS)单表查询 GaussDB(DWS)多表连接查询 GaussDB(DWS)子查询表达式 GaussDB(DWS) WITH表达式 GaussDB(DWS) UNION操作符的使用 跨逻辑集群数据读写 SQL on Hudi

查看更多 →

见DWS产品文档。 前提条件 连接的数据源已创建，如何创建请参见DWS数据源。 约束与限制 配置DWS数据集时，输入的SQL语句中如果含有和DWS数据库中字段名称相同的关键字，关键字需要加双引号 “""”。DWS数据库中包含的关键字，请参见DWS数据库关键字。 创建DWS数据集

查看更多 →

默认为创建迁移任务时选择的GaussDB(DWS)实例，不可进行修改。 数据库用户名 目标数据库的用户名。 数据库密码 目标数据库的用户名所对应的密码。 源和目标数据库用户名和密码将在同步过程中被加密暂存到数据库和同步实例主机上，待该任务删除后会永久清除。 在“设置同步”页面，选择同步对象和同步用户，单击“下一步”。

查看更多 →

该冲突策略特指增量同步中的冲突处理策略，全量阶段的冲突默认忽略。 DML同步 选择需要同步的DML操作，默认都勾选。 不勾选Delete则不会同步源库增量数据中的Delete语句，可能会导致数据不一致，因此存在数据冲突或任务失败的风险。 数据同步拓扑 数据同步功能支持多种同步拓扑，您可以

查看更多 →

是否写入脏数据 选择是否记录脏数据，默认不记录脏数据，当脏数据过多时，会影响同步任务的整体同步速度。 链路是否支持写入脏数据，以实际界面为准。 否：默认为否，不记录脏数据。 表示不允许脏数据存在。如果同步过程中产生脏数据，任务将失败退出。 是：允许脏数据，即任务产生脏数据时不影响任务执行。

查看更多 →

查询GaussDB(DWS)数据 GaussDB(DWS)单表查询 GaussDB(DWS)多表连接查询 GaussDB(DWS)子查询表达式 GaussDB(DWS) WITH表达式 GaussDB(DWS) UNION操作符的使用

查看更多 →

同步前构造数据 同步前需要在源库构造一些数据类型，供同步完成后验证数据。 DRS支持的数据类型如下所示： 表1 数据类型映射关系 源库数据类型 目标库数据类型 源库数据类型做主键，同步能力 源库数据类型做非主键，同步能力 源库数据类型做主键，对比能力 源库数据类型做非主键，对比能力

查看更多 →

同步数据库 本章节介绍创建DRS实例，将本地Oracle上的test_info数据库同步到GaussDB实例中test_database_info数据库中。 同步前检查 在创建任务前，需要针对同步条件进行手工自检，以确保您的同步任务更加顺畅。 在同步前，您需要参考入云使用须知获取同步相关说明。

查看更多 →

数据同步拓扑介绍 DRS实时同步功能目前支持多种拓扑类型，用户可根据自己的需求进行规划，详细说明可参考以下内容。 为保证同步数据的一致性，请勿对目标数据库中的同步对象进行修改操作。 一对一实时同步 用户创建一个同步任务来实现一对一的实时同步。 一对多实时同步 用户需要用户创建多个

查看更多 →

查看数据同步配置 功能介绍 查看数据同步配置。 调用方法 请参见如何调用API。 URI GET /v3/{project_id}/instances/{instance_id}/clickhouse/replication/config 表1 路径参数 参数 是否必选 参数类型

查看更多 →

创建StarRocks数据同步 功能介绍 创建StarRocks数据同步。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/instances/{instance_id}/starrocks/databases/replication 表1 路径参数

查看更多 →

删除StarRocks数据同步 功能介绍 删除StarRocks数据同步。 调用方法 请参见如何调用API。 URI DELETE /v3/{project_id}/instances/{instance_id}/starrocks/databases/replication 表1

查看更多 →

接成功”并单击“下一步”并保存。 验证OneAccess数据同步至 WeLink 在OneAccess中钉钉预集成应用中授权机构以及账号。 在同步集成页面，选择“授权管理 > 同步事件”查看同步事件。 父主题： 同步企业数据

查看更多 →

修改数据同步 功能介绍 修改数据同步。 调用方法 请参见如何调用API。 URI PUT /v3/{project_id}/instances/{instance_id}/clickhouse/databases/replication/config 表1 路径参数 参数 是否必选

查看更多 →

Flink作业实时同步MySQL数据至(GaussDB)DWS集群 本实践演示如何使用华为云DLI服务的Flink作业，将MySQL数据实时同步到GaussDB(DWS)。 了解DLI请参见数据湖产品介绍。 本实践预计时长60分钟，实践用到的云服务包括虚拟私有云 VPC及子网、云数据库 RDS、 数据湖探索

查看更多 →

全量数据同步 针对数据增长缓慢、非核心业务相关、无时间戳、无增删改标识、数据量低于十万条的明细表数据，以及码表、维度表等数据，采用全量同步的方式接入数管平台，并存放在贴源层的全量表内。数据初始化全量同步是指第一次从业务源库中采用全量同步的方式获取一次数据。 确定数据源 通过调研获

查看更多 →

恢复StarRocks数据同步 功能介绍 恢复StarRocks数据同步。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/instances/{instance_id}/starrocks/databases/replication/resume

查看更多 →

删除数据同步 功能介绍 删除数据同步。 调用方法 请参见如何调用API。 URI DELETE /v3/{project_id}/instances/{instance_id}/clickhouse/replication/{database_name} 表1 路径参数 参数 是否必选

查看更多 →

查看数据同步配置 功能介绍 查看数据同步配置。 调用方法 请参见如何调用API。 URI GET /v3/{project_id}/instances/{instance_id}/clickhouse/replication/config 表1 路径参数 参数 是否必选 参数类型

查看更多 →

恢复StarRocks数据同步 功能介绍 恢复StarRocks数据同步。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/instances/{instance_id}/starrocks/databases/replication/resume

查看更多 →