影响DRS迁移速度的因素很多，当前全量阶段迁移速度为网络和数据库性能无瓶颈、任务为大规格时的测试数据，仅供用户进行参考。 当目标数据库为Oralce或者 GaussDB (DWS)时，受限于目标数据库写入机制，全量速度相较于其他类型数据库下降30%~50%。 MongoDB数据库的写入性能会受索引个数影响，单个索引影响5-8%，索引越多，速度越慢。

查看更多 →

OpenSource SQL作业开发 从Kafka读取数据写入到RDS 从Kafka读取数据写入到DWS 从Kafka读取数据写入到Elasticsearch 从MySQL CDC源表读取数据写入到DWS 从PostgreSQL CDC源表读取数据写入到DWS Flink作业高可靠推荐配置指导（异常自动重启）

查看更多 →

operation”错误 Mysql到Mysql时源端报“Illegal mix of collations for operation 'UNION'”错误 源端Mysql增量采集每小时执行一次时部分数据丢失 API到MySQL时源端报“401 unauthorized”错误 Kafka集到Mysql目标端报“cannot

查看更多 →

"area_id":"330106"} DLI 从Kafka读取数据写入Elasticsearch，在Elasticsearch集群的Kibana中查看相应结果。 前提条件 已创建DMS Kafka实例。 具体步骤可参考：DMS Kafka入门指引。 创建DMS Kafka实例时，不能开启Kafka SASL_SSL。

查看更多 →

该解决方案会部署如下资源： 创建一台云数据库RDS for MySQL实例，用于存储统计的订单指标数据，从而展示在 数据可视化DLV 大屏。 创建分布式消息服务 kafka专享版实例，并创建 Topic，用于电商平台写入业务数据，为用户提供便捷高效的消息队列。 创建 数据湖探索 DLI增强型

查看更多 →

Streaming从Kafka读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

Apache Kafka同步到 MRS Kafka 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Kafka集群（2.7、3.x版本） Kafka集群（2.7、3.x版本） 数据库账号权限要求 在使用Migration进行同步时，源端和目的端所使用

查看更多 →

DDS->Kafka 暂不支持 支持 暂不支持 PostgreSQL->Kafka 支持 支持 暂不支持 GaussDB(for MySQL)->Kafka 支持 支持 支持 GaussDB主备版->Kafka 支持 支持 暂不支持 GaussDB分布式版->Kafka 支持 支持

查看更多 →

说明。 MySQL->MySQL MySQL->PostgreSQL MySQL->GaussDB分布式版 MySQL->GaussDB主备版 MySQL->GaussDB(DWS) MySQL->GaussDB(for MySQL) MySQL->Kafka MySQL-> CSS /ES

查看更多 →

数据源 目的端 描述 MySQL Hudi 该任务支持从MySQL同步数据到Hudi。 Kafka 该任务支持从MySQL同步数据到Kafka。 PgSQL Hudi 该任务支持从PgSQL同步数据到Hudi。 Kafka 该任务支持从PgSQL同步数据到Kafka。 Hudi DWS

查看更多 →

cloudDataGuard-mysql MySQL到MySQL灾备场景使用。 mysql mysql gaussdbv5 GaussDB分布式到GaussDB分布式版同步场景使用。 gaussdbv5 gaussdbv5 mysql-to-kafka MySQL到Kafka同步场景使用。 mysql

查看更多 →

将GaussDB(for MySQL)同步到Kafka 支持的源和目标数据库 表1 支持的数据库 源数据库 目标数据库 GaussDB(for MySQL)主备实例 Kafka 使用建议 DRS任务启动和全量数据同步阶段，请不要在源数据库执行DDL操作，否则可能导致任务异常。 为

查看更多 →

负载高导致实例新建连接异常已恢复。 kafka连接失败 kafkaConnectionFailed 重要 一般是由于网络波动或kafka服务端出现异常等原因导致。 检查网络状况和kafka服务端状态。 审计日志无法发送到kafka服务端。 数据库代理 数据库安全组未放通数据库代理地址 proxy

查看更多 →

负载高导致实例新建连接异常已恢复。 kafka连接失败 kafkaConnectionFailed 重要 一般是由于网络波动或kafka服务端出现异常等原因导致。 检查网络状况和kafka服务端状态。 审计日志无法发送到kafka服务端。 数据库代理 数据库安全组未放通数据库代理地址 proxy

查看更多 →

创建MySQL数据库 应用场景 MySQL是目前最受欢迎的开源数据库之一，其性能卓越，搭配LAMP（Linux + Apache + MySQL + Perl/PHP/Python），成为WEB开发的高效解决方案。 本教程将指导您如何通过Terraform脚本创建一个RDS for

查看更多 →

数据库代理（MySQL） 开启数据库代理 查询数据库代理信息列表 查询数据库代理规格信息 设置读写分离路由模式 关闭数据库代理 父主题： API v3（推荐）

查看更多 →

了解VPC计费说明。 DMS Kafka Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 Kafka版支持按需和包周期两种付费模式。Kafka计费项包括Kafka实例和Kafka的磁盘存储空间。 了解Kafka计费说明。 RDS MySQL 数据库 RDS for

查看更多 →

数据写入 写入更新数据时报错 Parquet/Avro schema 写入更新数据时报错UnsupportedOperationException 写入更新数据时报错SchemaCompatabilityException Hudi在upsert时占用了临时文件夹中大量空间 Hudi写入小精度Decimal数据失败

查看更多 →

写入数据 写入数据接口和HBase原生API一致。 可以参考以下样例代码。 样例代码 public void testPut() { LOG .info("Entering testPut."); try(Table table = conn.getTable(tableName))

查看更多 →

参见配置DIS源端参数。 Apache Kafka DMS Kafka MRS Kafka 仅支持导出数据到 云搜索 服务。 参见配置Kafka/DMS Kafka源端参数。 云搜索服务 Elasticsearch 支持从云搜索服务或Elasticsearch导出数据。 参见配置Elasticsearch/云搜索服务源端参数。

查看更多 →

GaussDB(for MySQL)->GaussDB(for MySQL) 出云： MySQL->MySQL MySQL-> CS S/ES MySQL->Kafka MySQL->Oracle MySQL->MariaDB DDM->Kafka DDS->Kafka PostgreSQL->PostgreSQL

查看更多 →