创建MySQL数据库 应用场景 MySQL是目前最受欢迎的开源数据库之一，其性能卓越，搭配LAMP（Linux + Apache + MySQL + Perl/PHP/Python），成为WEB开发的高效解决方案。 本教程将指导您如何通过Terraform脚本创建一个RDS for

查看更多 →

数据库代理（MySQL） 开启数据库代理 查询数据库代理信息列表 查询数据库代理规格信息 设置读写分离路由模式 关闭数据库代理 父主题： API v3（推荐）

查看更多 →

了解VPC计费说明。 DMS Kafka Kafka提供的消息队列服务，向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 Kafka版支持按需和包周期两种付费模式。Kafka计费项包括Kafka实例和Kafka的磁盘存储空间。 了解Kafka计费说明。 RDS MySQL 数据库 RDS for

查看更多 →

DMS Kafka同步到OBS 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 Kafka集群（2.7、3.x版本） - 数据库账号权限要求 在使用Migration进行同步时，源端和目的端所使用的数据库账号需要满足以下权限要求，才能启动实时同步任

查看更多 →

参见配置DIS源端参数。 Apache Kafka DMS Kafka MRS Kafka 仅支持导出数据到 云搜索 服务。 参见配置Kafka/DMS Kafka源端参数。 云搜索服务 Elasticsearch 支持从云搜索服务或Elasticsearch导出数据。 参见配置Elasticsearch/云搜索服务源端参数。

查看更多 →

开启Kafka高可靠功能 操作场景 如果需执行表1中的CDL数据同步任务时，需开启Kafka高可靠性功能，防止当Kafka发生故障或者Kafka重启时传输的数据丢失。 表1 使用MRS Kafka同步数据的CDL任务 数据源 目的端 描述 MySQL Hudi 该任务支持从MySQL同步数据到Hudi。

查看更多 →

(DWS)写入数据。 从其他数据库直接写入 GaussDB (DWS)的方式，具有业务数据无需落地成文件的优势。 Kafka实时入库到GaussDB(DWS) Kafka 使用 DLI Flink作业实现Kafka实时入库GaussDB(DWS)。 适用Kafka实时入库。 使用 CDM 迁移数据到GaussDB(DWS)

查看更多 →

参见配置DIS源端参数。 Apache Kafka DMS Kafka MRS Kafka 仅支持导出数据到云搜索服务。 参见配置Kafka/DMS Kafka源端参数。 云搜索服务 Elasticsearch 支持从云搜索服务或Elasticsearch导出数据。 参见配置Elasticsearch/云搜索服务源端参数。

查看更多 →

GaussDB(for MySQL)->GaussDB(for MySQL) 出云： MySQL->MySQL MySQL-> CSS /ES MySQL->Kafka MySQL->Oracle MySQL->MariaDB DDM->Kafka DDS->Kafka PostgreSQL->PostgreSQL

查看更多 →

弹性资源池。 设置MySQL和Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据MySQL和Kafka的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。 连接MySQL数据库实例，在flink数据库中创建相应的表，作为

查看更多 →

Kafka生产者写入单条记录过长问题 问题背景与现象 用户在开发一个Kafka应用，作为一个生产者调用新接口（org.apache.kafka.clients.producer.*）往Kafka写数据，单条记录大小为1100055，超过了kafka配置文件server.properties中message

查看更多 →

弹性资源池。 设置MySQL和Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据MySQL和Kafka的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。 连接MySQL数据库实例，在flink数据库中创建相应的表，作为

查看更多 →

创建DRS同步任务 本章节介绍创建DRS实例，将RDS for MySQL上的数据库增量同步到Kafka。 同步前检查 在创建任务前，需要针对同步条件进行手工自检，以确保您的同步任务更加顺畅。 本示例中，为RDS for MySQL到Kafka的出云同步，您可以参考出云同步使用须知获取相关信息。

查看更多 →

如需删除数据连接元素，选择该目标并单击界面右下角的“删除”。 表1 MySQL作业参数 参数名称 描述 示例 Link 已创建的MySQL连接。 mysqllink Tasks Max 允许Connector创建的最大Task的数量，数据库类型的Connector只允许配置为1。 1 Mode

查看更多 →

24.jar”。 mysql-connector-java-8.0.24.jar Host MySQL数据库IP地址。 10.10.10.10 Port MySQL数据库端口。 3306 User MySQL数据库访问用户。 user Password MySQL数据库访问密码。 user用户密码

查看更多 →

存储空间主要用于存储消息（包含副本，Kafka默认使用3副本），除了存储消息外还需要预留部分空间用于存储日志和元数据。 DRS同步任务 同步任务名 DRS-MySQLToKafka 自定义 源数据库引擎 MySQL 本示例中源数据库为MySQL，使用的华为云RDS实例。 目标数据库引擎 Kafka

查看更多 →

图2 新建数据库 单击“SQL操作 > SQL查询”，打开SQL窗口，选择目标数据库，在SQL执行窗口输入如下命令创建数据库账号。 create database 数据库名; 相关API 创建数据库 查询数据库列表 查询数据库可用字符集 修改数据库备注 父主题： 数据库管理

查看更多 →

数据订阅与MySQL到Kafka同步的区别 对比项 MySQL到Kafka同步 数据订阅 支持的源数据库 华为云RDS for MySQL 本地自建MySQL数据库 E CS 自建MySQL数据库 其他云MySQL数据库 华为云RDS for MySQL 支持网络 支持公网网络、VPC网络、VPN、专线网络。

查看更多 →

云数据库GaussDB分布式版 分布式消息服务Kafka 数据复制服务 DRS GaussDB分布式数据库架构说明 图1 GaussDB分布式逻辑架构图 GaussDB分布式主要包含了OM、CM、GTM、CN和DN等模块，分布式版主要流程为业务应用下发SQL给CN ，SQL可以包含对数据的增（i

查看更多 →

使用Kafka Eagle对接MRS Kafka 应用场景 Kafka Eagle是一款分布式、高可用的Kafka监控软件，提供丰富的Kafka监控指标，例如：Kafka集群的Broker数、Topic数、Consumer数、Topic LogSize Top10、Topic Capacity

查看更多 →

VALUES(4,'00:00:44','ddd'); 单击左侧的服务列表图标，选择“应用中间件 > 分布式消息服务Kafka版”。 在“Kafka专享版”页面，单击Kafka实例的名称。 选择“消息查询”页签，在Kafka对应的Topic中，查看接收到相应的JSON格式数据。 结束同步任务。

查看更多 →