配置Oracle CDC（XStream）

概述

CDC（Change Data Capture），即数据变更抓取，通过为源端数据源开启CDC，ROMA Connect可实现数据源的实时数据同步以及数据表的物理删除同步。

ROMA Connect支持Oracle的XStream和LogMiner两种CDC模式，本章节主要介绍如何为Oracle数据库开启XStream模式的CDC功能。另外，根据Oracle数据库类型为CDB数据库还是非CDB数据库，CDC的配置有所不同。

前提条件

Oracle数据库需具备OGG License（无需安装OGG）。
若Oracle数据库为主从模式，不支持使用Oracle从库。
不支持采集二进制类型的字段，例如：BINARY，VARBINARY，TINYBLOB，BLOB，MEDIUMBLOB，LONGBLOB。

Oracle为非CDB数据库时的配置

建议由数据库管理员进行CDC功能的配置操作。

开启日志归档和XStream。
1. 在命令行工具中执行以下命令以sys用户连接到数据库。
  在实际使用过程中，可以有多种方式连接数据库，此处以命令行方式为例进行说明。
```
sqlplus /nolog
CONNECT sys/password@host:port AS SYSDBA;
```
  其中：
  - password为数据库sys用户的密码，可向数据库管理员获取。
  - host为数据库实例所在服务器的IP地址，请根据实际情况设置。
  - port为数据库实例所使用的端口，请根据实际情况设置。
2. 执行以下命令开启Xstream。
```
alter system set enable_goldengate_replication=true;
```
3. 执行以下命令，检查日志归档是否已开启。
```
archive log list;
```
  - 若回显打印“Database log mode: No Archive Mode”，说明日志归档未开启，继续执行下一步。
  - 若回显打印“Database log mode: Archive Mode”，说明日志归档已开启，直接跳到1.g。
4. 执行以下命令配置归档日志参数。
```
alter system set db_recovery_file_dest_size = 100G;
alter system set db_recovery_file_dest = '/opt/oracle/oradata/recovery_area' scope=spfile;
```
  其中：
  - 100G为日志文件存储空间的大小，请根据实际情况设置。
  - /opt/oracle/oradata/recovery_area为日志存储路径，请根据实际规划设置，但须确保路径提前创建。
5. 执行以下命令开启日志归档。
  - 开启日志归档功能需重启数据库，重启期间将导致业务中断，请谨慎操作。
  - 归档日志会占用较多的磁盘空间，若磁盘空间满了会影响业务，请定期清理过期归档日志。
```
shutdown immediate;
startup mount;
alter database archivelog;
alter database open;
```
6. 执行以下命令，确认日志归档是否已成功开启。
```
archive log list;
```
  当回显打印“Database log mode: Archive Mode”，说明日志归档已开启。
7. 执行以下命令退出数据库连接。
```
exit;
```
创建XStream用户并给用户赋予权限。
1. 在命令行工具中执行以下命令以sys用户连接到数据库实例。
```
sqlplus sys/password@host:port/SID as sysdba
```
  其中：
  - password为数据库sys用户的密码，请向数据库管理员获取。
  - host为数据库实例所在服务器的IP地址，请根据实际情况设置。
  - port为数据库实例所使用的端口，请根据实际情况设置。
  - SID为要同步数据所在实例的实例名，请根据实际情况设置。
2. 执行以下命令创建XStream管理员用户并配置权限。
```
CREATE TABLESPACE xstream_adm_tbs DATAFILE '/opt/oracle/oradata/orcl/xstream_adm_tbs.dbf' SIZE 25M REUSE AUTOEXTEND ON MAXSIZE UNLIMITED;
CREATE USER xstrmadmin IDENTIFIED BY password DEFAULT TABLESPACE xstream_adm_tbs QUOTA UNLIMITED ON xstream_adm_tbs;
GRANT CREATE SESSION TO xstrmadmin;
BEGIN
   DBMS_XSTREAM_AUTH.GRANT_ADMIN_PRIVILEGE(
      grantee                 => 'xstrmadmin',
      privilege_type          => 'CAPTURE',
      grant_select_privileges => TRUE,
      container             => 'ALL'
   );
END;
```
  其中：
  - xstream_adm_tbs为XStream管理员用户的表空间名，请根据实际规划设置。
  - /opt/oracle/oradata/orcl/xstream_adm_tbs.dbf为XStream管理员用户的表空间文件，请根据实际规划设置。
  - xstrmadmin为XStream管理员用户名，请根据实际规划设置。
  - password为XStream管理员用户密码，请根据实际规划设置。
  - “container => 'ALL'”仅当Oracle为12c或以上版本时，才需要添加，否则删除此行内容。
3. 执行以下命令创建ROMA Connect连接数据库的用户并配置权限。
```
CREATE TABLESPACE xstream_tbs DATAFILE '/opt/oracle/oradata/orcl/xstream_tbs.dbf' SIZE 25M REUSE AUTOEXTEND ON MAXSIZE UNLIMITED;
CREATE USER xstrm IDENTIFIED BY password DEFAULT TABLESPACE xstream_tbs QUOTA UNLIMITED ON xstream_tbs;
GRANT CREATE SESSION TO xstrm;
GRANT SELECT ON V_$DATABASE to xstrm;
GRANT FLASHBACK ANY TABLE TO xstrm;
GRANT SELECT ANY TABLE to xstrm;
GRANT LOCK ANY TABLE TO xstrm;
grant select_catalog_role to xstrm;
```
  其中：
  - xstream_tbs为ROMA Connect连接用户的表空间名，请根据实际规划设置。
  - /opt/oracle/oradata/orcl/xstream_tbs.dbf为ROMA Connect连接用户的表空间文件，请根据实际规划设置。
  - xstrm为ROMA Connect连接用户名，请根据实际规划设置。
  - password为ROMA Connect连接用户密码，请根据实际规划设置。
4. 执行以下命令修改日志记录参数。
```
alter database add supplemental log data (all) columns;
```
5. 执行以下命令退出数据库连接。
```
exit;
```
创建XStream出站服务器。

一个XStream出站服务器只能在一个FDI集成任务中使用，若该数据库需要用于多个集成任务，需创建多个XStream出站服务器。
1. 在命令行工具中执行以下命令以xstrmadmin用户连接到数据库实例。
```
sqlplus xstrmadmin/password@host:port/SID
```
  其中：
  - xstrmadmin为XStream管理员用户名，在2.b中创建。
  - password为XStream管理员用户密码，在2.b中设置。
  - host为数据库实例所在服务器的IP地址，请根据实际情况设置。
  - port为数据库实例所使用的端口，请根据实际情况设置。
  - SID为要同步数据所在实例的实例名，请根据实际情况设置。
2. 执行以下命令创建XStream出站服务器。
```
DECLARE
  tables DBMS_UTILITY.UNCL_ARRAY;
  schemas DBMS_UTILITY.UNCL_ARRAY;
BEGIN
   tables(1) := NULL;
   schemas(1) := 'ROMA';
   DBMS_XSTREAM_ADM.CREATE_OUTBOUND(
      server_name => 'dbzxout',
      table_names => tables,
      schema_names => schemas
   );
END;
```
  其中：
  - ROMA为要同步数据表所在的schemas，即CDC需要抓取哪个schemas下的数据，请根据实际情况设置。
  - dbzxout为出站服务器名称，需保证唯一，请根据实际规划设置。
3. 执行以下命令退出数据库连接。
```
exit;
```
4. 执行以下命令以sys用户连接到数据库实例。
```
sqlplus sys/password@host:port/SID as sysdba
```
  其中：
  - password为数据库sys用户的密码，请向数据库管理员获取。
  - host为数据库实例所在服务器的IP地址，请根据实际情况设置。
  - port为数据库实例所使用的端口，请根据实际情况设置。
  - SID为要同步数据所在实例的实例名，请根据实际情况设置。
5. 执行以下命令允许xstrm用户连接XStream出站服务器。
```
BEGIN
   DBMS_XSTREAM_ADM.ALTER_OUTBOUND(
      server_name  => 'dbzxout',
      connect_user => 'xstrm'
   );
END;
```
  其中：
  - dbzxout为出站服务器名称，在3.b中设置。
  - xstrm为ROMA Connect连接用户名，在2.c中设置。
6. 执行以下命令退出数据库连接。
```
exit;
```

Oracle为CDB数据库时的配置

建议由数据库管理员进行CDC功能的配置操作。

开启日志归档和XStream。
1. 在命令行工具中执行以下命令以sys用户连接到数据库。
  在实际使用过程中，可以有多种方式连接数据库，此处以命令行方式为例进行说明。
```
sqlplus /nolog
CONNECT sys/password@host:port AS SYSDBA;
```
  其中：
  - password为数据库sys用户的密码，可向数据库管理员获取。
  - host为数据库实例所在服务器的IP地址，请根据实际情况设置。
  - port为数据库实例所使用的端口，请根据实际情况设置。
2. 执行以下命令开启Xstream。
```
alter system set enable_goldengate_replication=true;
```
3. 执行以下命令，检查日志归档是否已开启。
```
archive log list;
```
  - 若回显打印“Database log mode: No Archive Mode”，说明日志归档未开启，继续执行下一步。
  - 若回显打印“Database log mode: Archive Mode”，说明日志归档已开启，直接跳到1.g。
4. 执行以下命令配置归档日志参数。
```
alter system set db_recovery_file_dest_size = 100G;
alter system set db_recovery_file_dest = '/opt/oracle/oradata/recovery_area' scope=spfile;
```
  其中：
  - 100G为日志文件存储空间的大小，请根据实际情况设置。
  - /opt/oracle/oradata/recovery_area为日志存储路径，请根据实际规划设置，但须确保路径提前创建。
5. 执行以下命令开启日志归档。
  - 开启日志归档功能需重启数据库，重启期间将导致业务中断，请谨慎操作。
  - 归档日志会占用较多的磁盘空间，若磁盘空间满了会影响业务，请定期清理过期归档日志。
```
shutdown immediate;
startup mount;
alter database archivelog;
alter database open;
```
6. 执行以下命令，确认日志归档是否已成功开启。
```
archive log list;
```
  当回显打印“Database log mode: Archive Mode”，说明日志归档已开启。
7. 执行以下命令退出数据库连接。
```
exit;
```

创建XStream用户并给用户赋予权限。

在命令行工具中执行以下命令以sys用户连接到数据库实例。
```
sqlplus sys/password@host:port/SID as sysdba
```
其中：
- password为数据库sys用户的密码，请向数据库管理员获取。
- host为数据库实例所在服务器的IP地址，请根据实际情况设置。
- port为数据库实例所使用的端口，请根据实际情况设置。
- SID为要同步数据所在CDB数据库的实例名，请根据实际情况设置。

执行以下命令创建XStream管理员用户并配置权限。

CREATE TABLESPACE xstream_adm_tbs DATAFILE '/opt/oracle/oradata/ORCLCDB/xstream_adm_tbs.dbf' SIZE 25M REUSE AUTOEXTEND ON MAXSIZE UNLIMITED;
alter session set container = ORCLPDB1;
CREATE TABLESPACE xstream_adm_tbs DATAFILE '/opt/oracle/oradata/ORCLCDB/ORCLPDB1/xstream_adm_tbs.dbf' SIZE 25M REUSE AUTOEXTEND ON MAXSIZE UNLIMITED;
alter session set container = CDB$ROOT;

CREATE USER c##xstrmadmin IDENTIFIED BY password DEFAULT TABLESPACE xstream_adm_tbs QUOTA UNLIMITED ON xstream_adm_tbs CONTAINER=ALL;
GRANT CREATE SESSION, SET CONTAINER TO c##xstrmadmin CONTAINER=ALL;
BEGIN
   DBMS_XSTREAM_AUTH.GRANT_ADMIN_PRIVILEGE(
      grantee                 => 'c##xstrmadmin',
      privilege_type          => 'CAPTURE',
      grant_select_privileges => TRUE,
      container               => 'ALL'
   );
END;

其中：

xstream_adm_tbs为XStream管理员用户的表空间名，请根据实际规划设置。
/opt/oracle/oradata/ORCLCDB/xstream_adm_tbs.dbf为CDB中XStream管理员用户的表空间文件，请根据实际规划设置。
ORCLPDB1为PDB数据库的名称。
/opt/oracle/oradata/ORCLCDB/ORCLPDB1/xstream_adm_tbs.dbf为PDB中XStream管理员用户的表空间文件，请根据实际规划设置。
c##xstrmadmin为XStream管理员用户名，请根据实际规划设置。
password为XStream管理员用户密码，请根据实际规划设置。

执行以下命令创建ROMA Connect连接数据库的用户并配置权限。

CREATE TABLESPACE xstream_tbs DATAFILE '/opt/oracle/oradata/ORCLCDB/xstream_tbs.dbf' SIZE 25M REUSE AUTOEXTEND ON MAXSIZE UNLIMITED;
alter session set container = ORCLPDB1;
CREATE TABLESPACE xstream_tbs DATAFILE '/opt/oracle/oradata/ORCLCDB/ORCLPDB1/xstream_tbs.dbf' SIZE 25M REUSE AUTOEXTEND ON MAXSIZE UNLIMITED;
alter session set container = CDB$ROOT;

CREATE USER c##xstrm IDENTIFIED BY password DEFAULT TABLESPACE xstream_tbs QUOTA UNLIMITED ON xstream_tbs CONTAINER=ALL;
GRANT CREATE SESSION TO c##xstrm CONTAINER=ALL;
GRANT SET CONTAINER TO c##xstrm CONTAINER=ALL;
GRANT SELECT ON V_$DATABASE to c##xstrm CONTAINER=ALL;
GRANT FLASHBACK ANY TABLE TO c##xstrm CONTAINER=ALL;
GRANT SELECT ANY TABLE to c##xstrm CONTAINER=ALL;
GRANT LOCK ANY TABLE TO c##xstrm CONTAINER=ALL;
grant select_catalog_role to c##xstrm CONTAINER=ALL;

其中：

xstream_tbs为ROMA Connect连接用户的表空间名，请根据实际规划设置。
/opt/oracle/oradata/ORCLCDB/xstream_tbs.dbf为CDB中ROMA Connect连接用户的表空间文件，请根据实际规划设置。
ORCLPDB1为PDB数据库的名称。
/opt/oracle/oradata/ORCLCDB/ORCLPDB1/xstream_tbs.dbf为PDB中ROMA Connect连接用户的表空间文件，请根据实际规划设置。
c##xstrm为ROMA Connect连接用户名，请根据实际规划设置。
password为ROMA Connect连接用户密码，请根据实际规划设置。

执行以下命令修改日志记录参数。

alter database add supplemental log data (all) columns;

执行以下命令退出数据库连接。
```
exit;
```

创建XStream出站服务器。

一个XStream出站服务器只能在一个FDI集成任务中使用，若该数据库需要用于多个集成任务，需创建多个XStream出站服务器。
1. 在命令行工具中执行以下命令以c##xstrmadmin用户连接到数据库实例。
```
sqlplus c##xstrmadmin/password@host:port/SID
```
  其中：
  - c##xstrmadmin为XStream管理员用户名，在2.b中创建。
  - password为XStream管理员用户密码，在2.b中设置。
  - host为数据库实例所在服务器的IP地址，请根据实际情况设置。
  - port为数据库实例所使用的端口，请根据实际情况设置。
  - SID为要同步数据所在CDB数据库的实例名，请根据实际情况设置。
2. 执行以下命令创建XStream出站服务器。
```
DECLARE
  tables DBMS_UTILITY.UNCL_ARRAY;
  schemas DBMS_UTILITY.UNCL_ARRAY;
BEGIN
  tables(1) := NULL;
  schemas(1) := 'ROMA';
  DBMS_XSTREAM_ADM.CREATE_OUTBOUND(
    server_name     =>  'dbzxout',
    table_names     =>  tables,
    schema_names    =>  schemas);
END;
```
  其中：
  - ROMA为要同步数据表所在的schemas，即CDC需要抓取哪个schemas下的数据，请根据实际情况设置。
  - dbzxout为出站服务器名称，需保证唯一，请根据实际规划设置。
3. 执行以下命令退出数据库连接。
```
exit;
```
4. 执行以下命令以sys用户连接到数据库实例。
```
sqlplus sys/password@host:port/SID as sysdba
```
  其中：
  - password为数据库sys用户的密码，请向数据库管理员获取。
  - host为数据库实例所在服务器的IP地址，请根据实际情况设置。
  - port为数据库实例所使用的端口，请根据实际情况设置。
  - SID为要同步数据所在CDB数据库的实例名，请根据实际情况设置。
5. 执行以下命令允许c##xstrm用户连接XStream出站服务器。
```
BEGIN
   DBMS_XSTREAM_ADM.ALTER_OUTBOUND(
      server_name  => 'dbzxout',
      connect_user => 'c##xstrm'
   );
END;
```
  其中：
  - dbzxout为出站服务器名称，在3.b中设置。
  - c##xstrm为ROMA Connect连接用户名，在2.c中设置。
6. 执行以下命令退出数据库连接。
```
exit;
```