更新时间:2024-10-28 GMT+08:00
配置MySQL CDC(Binlog)
概述
CDC(Change Data Capture),即数据变更抓取,通过为源端数据源开启CDC,ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。
本章节主要介绍如何为MySQL数据库开启Binlog模式CDC功能。
前提条件
- 不支持采集二进制类型的字段,例如:TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB。
- 不支持采集DATETIME(6)字段。
操作步骤
建议由数据库管理员进行CDC功能的配置操作,以下配置以Linux环境为例进行说明。
- 开启Binlog。
- 使用命令行工具连接到MySQL数据库所在服务器,执行以下命令以root用户登录数据库。
mysql -uroot -ppassword
其中,password为数据库root用户的密码,可向数据库管理员获取。
- 执行以下命令,查询MySQL数据库是否开启了Binlog。
show variables like 'log_bin';
- 若变量log_bin的值为“OFF”,则说明Binlog未开启,继续执行下一步。
- 若变量log_bin的值为“ON”,则说明Binlog已开启,继续执行以下SQL命令,检查相关参数的配置是否符合要求。
show variables like '%binlog_format%'; show variables like '%binlog_row_image%';
变量binlog_format的值应该为“ROW”,变量binlog_row_image的值应该为“FULL”。如果满足要求,直接跳到2,否则继续执行下一步。
- 执行以下命令退出数据库。
exit;
- 执行以下命令编辑MySQL配置文件,然后按“i”进入输入模式。
vi /etc/my.cnf
- 在配置文件中增加如下配置,开启Binlog。
server-id = 123 log_bin = mysql-bin binlog_format = row binlog_row_image = full expire_logs_days = 10 gtid_mode = on enforce_gtid_consistency = on
其中:
- server-id的值应为大于1的整数,请根据实际规划设置,并且在创建数据集成任务时设置的“Server Id”值需要此处设置的值不同。
- expire_logs_days为Binlog日志文件保留时间,超过保留时间的Binlog日志会被自动删除,应保留至少2天的日志文件。
- “gtid_mode = on”和“enforce_gtid_consistency = on”仅当MySQL的版本大于等于5.6.5时才需要添加,否则删除这两行内容。
- 按“Esc”退出输入模式,然后输入“:wq”并回车,保存退出。
- 执行以下命令重启MySQL数据库。
service mysqld restart
- 以root用户登录数据库,执行以下命令,查询变量log_bin的值是否为“ON”,即是否已开启Binlog。
show variables like 'log_bin';
- (可选):当创建MySQL CDC任务Schema映射时,MySQL数据库需要先开启配置项:binlog_rows_query_log_events =1;可在如上第 e 步骤中配置。
- 使用命令行工具连接到MySQL数据库所在服务器,执行以下命令以root用户登录数据库。
- 在数据库中执行以下命令创建ROMA Connect连接数据库的用户并配置权限。
CREATE USER 'roma'@'%' IDENTIFIED BY 'password'; GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'roma'@'%';
其中:
- roma为ROMA Connect连接用户名,请根据实际规划设置。
- password为ROMA Connect连接用户密码,请根据实际规划设置。
- (可选)如果MySQL数据库版本为8.0,则需要执行以下命令,修改数据库连接用户的密码认证方式。
ALTER USER roma IDENTIFIED WITH mysql_native_password BY 'password';
其中:
- roma为2中创建的数据库连接用户名。
- password为数据库连接用户的密码。
- 执行以下命令退出数据库连接。
exit;
父主题: 创建数据集成任务(组合任务)