计算
弹性云服务器 ECS
Flexus云服务
裸金属服务器 BMS
弹性伸缩 AS
镜像服务 IMS
专属主机 DeH
函数工作流 FunctionGraph
云手机服务器 CPH
Huawei Cloud EulerOS
网络
虚拟私有云 VPC
弹性公网IP EIP
虚拟专用网络 VPN
弹性负载均衡 ELB
NAT网关 NAT
云专线 DC
VPC终端节点 VPCEP
云连接 CC
企业路由器 ER
企业交换机 ESW
全球加速 GA
安全与合规
安全技术与应用
Web应用防火墙 WAF
企业主机安全 HSS
云防火墙 CFW
安全云脑 SecMaster
DDoS防护 AAD
数据加密服务 DEW
数据库安全服务 DBSS
云堡垒机 CBH
数据安全中心 DSC
云证书管理服务 CCM
边缘安全 EdgeSec
威胁检测服务 MTD
CDN与智能边缘
内容分发网络 CDN
CloudPond云服务
智能边缘云 IEC
迁移
主机迁移服务 SMS
对象存储迁移服务 OMS
云数据迁移 CDM
迁移中心 MGC
大数据
MapReduce服务 MRS
数据湖探索 DLI
表格存储服务 CloudTable
云搜索服务 CSS
数据接入服务 DIS
数据仓库服务 GaussDB(DWS)
数据治理中心 DataArts Studio
数据可视化 DLV
数据湖工厂 DLF
湖仓构建 LakeFormation
企业应用
云桌面 Workspace
应用与数据集成平台 ROMA Connect
云解析服务 DNS
专属云
专属计算集群 DCC
IoT物联网
IoT物联网
设备接入 IoTDA
智能边缘平台 IEF
用户服务
账号中心
费用中心
成本中心
资源中心
企业管理
工单管理
国际站常见问题
ICP备案
我的凭证
支持计划
客户运营能力
合作伙伴支持计划
专业服务
区块链
区块链服务 BCS
Web3节点引擎服务 NES
解决方案
SAP
高性能计算 HPC
视频
视频直播 Live
视频点播 VOD
媒体处理 MPC
实时音视频 SparkRTC
数字内容生产线 MetaStudio
存储
对象存储服务 OBS
云硬盘 EVS
云备份 CBR
存储容灾服务 SDRS
高性能弹性文件服务 SFS Turbo
弹性文件服务 SFS
云硬盘备份 VBS
云服务器备份 CSBS
数据快递服务 DES
专属分布式存储服务 DSS
容器
云容器引擎 CCE
容器镜像服务 SWR
应用服务网格 ASM
华为云UCS
云容器实例 CCI
管理与监管
云监控服务 CES
统一身份认证服务 IAM
资源编排服务 RFS
云审计服务 CTS
标签管理服务 TMS
云日志服务 LTS
配置审计 Config
资源访问管理 RAM
消息通知服务 SMN
应用运维管理 AOM
应用性能管理 APM
组织 Organizations
优化顾问 OA
IAM 身份中心
云运维中心 COC
资源治理中心 RGC
应用身份管理服务 OneAccess
数据库
云数据库 RDS
文档数据库服务 DDS
数据管理服务 DAS
数据复制服务 DRS
云数据库 GeminiDB
云数据库 GaussDB
分布式数据库中间件 DDM
数据库和应用迁移 UGO
云数据库 TaurusDB
人工智能
人脸识别服务 FRS
图引擎服务 GES
图像识别 Image
内容审核 Moderation
文字识别 OCR
AI开发平台ModelArts
图像搜索 ImageSearch
对话机器人服务 CBS
华为HiLens
视频智能分析服务 VIAS
语音交互服务 SIS
应用中间件
分布式缓存服务 DCS
API网关 APIG
微服务引擎 CSE
分布式消息服务Kafka版
分布式消息服务RabbitMQ版
分布式消息服务RocketMQ版
多活高可用服务 MAS
事件网格 EG
企业协同
华为云会议 Meeting
云通信
消息&短信 MSGSMS
云生态
合作伙伴中心
云商店
开发者工具
SDK开发指南
API签名指南
Terraform
华为云命令行工具服务 KooCLI
其他
产品价格详情
系统权限
管理控制台
客户关联华为云合作伙伴须知
消息中心
公共问题
开发与运维
应用管理与运维平台 ServiceStage
软件开发生产线 CodeArts
需求管理 CodeArts Req
部署 CodeArts Deploy
性能测试 CodeArts PerfTest
编译构建 CodeArts Build
流水线 CodeArts Pipeline
制品仓库 CodeArts Artifact
测试计划 CodeArts TestPlan
代码检查 CodeArts Check
代码托管 CodeArts Repo
云应用引擎 CAE
开天aPaaS
云消息服务 KooMessage
云手机服务 KooPhone
云空间服务 KooDrive

将Oracle同步到PostgreSQL

更新时间:2023-01-05 GMT+08:00

支持的源和目标数据库

表1 支持的数据库

源数据库

目标数据库

  • 本地自建数据库
  • ECS自建数据库
  • RDS for PostgreSQL

前提条件

  • 已登录数据复制服务控制台。
  • 满足实时同步支持的数据库类型和版本,详情请参见实时同步

使用建议

注意:
  • DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。
  • 为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。
  • 数据库同步与环境多样性和人为操作均有密切关系,为了确保同步的平顺,建议您在进行正式的数据库同步之前进行一次演练,可以帮助您提前发现问题并解决问题。
  • 基于以下原因,建议您在启动任务时选择“稍后启动”功能,将启动时间设置在业务低峰期,相对静止的数据可以有效提升一次性同步成功率,避免同步对业务造成性能影响。
    • 在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。
    • 正在同步的数据被其他事务长时间锁死,可能导致读数据超时。
    • DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。
    • 全量阶段读取表数据时,特别是大表的读取,可能会阻塞业务上对大表的独占锁操作。
  • 数据对比

    建议您结合数据对比“稍后启动”功能,选择业务低峰期进行数据对比,以便得到更为具有参考性的对比结果。由于同步具有轻微的时差,在数据持续操作过程中进行对比任务,可能会出现少量数据不一致对比结果,从而失去参考意义。

使用须知

在创建同步任务前,请务必阅读以下使用须知。

说明:
  • 建议创建单独用于DRS任务连接的数据库帐号,避免因为数据库帐号密码修改,导致的任务连接失败。
  • 连接源或目标数据库的帐号密码修改后,请尽快修改DRS任务中的连接信息,避免任务连接失败后自动重试,导致数据库帐号被锁定影响使用。
表2 使用须知

类型名称

使用和操作限制

数据库权限设置

  • 源数据库端:
    • 全量同步:需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECT <userName.tbName> to drsUser;)权限。
    • 全量+增量同步:

      12c及以上版本CDB数据库同步时,需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECT <userName.tbName> to drsUser;),EXECUTE_CATALOG_ROLE,SELECT ANY TRANSACTION,LOGMINING,SELECT ON SYS.COL$,SELECT ON SYS.OBJ$,SET CONTAINER(GRANT SET CONTAINER TO <userName> CONTAINER=ALL;)权限。

      12c及以上版本PDB数据库同步时,除了需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECT <userName.tbName> to drsUser;),EXECUTE_CATALOG_ROLE,SELECT ANY TRANSACTION,LOGMINING,SELECT ON SYS.COL$,SELECT ON SYS.OBJ$权限,还需要具有CDB的CREATE SESSION,SELECT ANY DICTIONARY,EXECUTE_CATALOG_ROLE,SELECT ANY TRANSACTION,LOGMINING,SET CONTAINER(GRANT SET CONTAINER TO <userName> CONTAINER=ALL;)权限。

      11g及以下版本数据库同步时,需要具有CREATE SESSION,SELECT ANY DICTIONARY,针对单表的SELECT权限(GRANT SELECT <userName.tbName> to drsUser;),EXECUTE_CATALOG_ROLE,SELECT ANY TRANSACTION,SELECT ON SYS.COL$,SELECT ON SYS.OBJ$。

    • 增量同步时,源库Oracle需要开启日志归档模式和最小补充日志,所需同步表必须开启PK/UI或以ALL级别的补充日志,不限制库级或表级补充日志方式,若只开启表级补充日志,重建或者RENAME表后需要重新设置;请确保以上配置在同步过程中始终保持开启状态。
    • 12c及以上版本不支持使用ORACLE_MAINTAINED=Y的用户帐号进行增量同步(system/sys除外),因为该属性的帐号无日志解析权限。
  • 目标数据库账号必须具有每张表的如下权限:INSERT、SELECT、UPDATE、DELETE、CONNECT、CREATE、REFERENCES。

同步对象约束

  • 支持表、索引、约束(主键、空、非空)的同步,不支持视图、外键、存储过程、触发器、函数、事件、虚拟列的同步。
  • 全量阶段不支持bfile,xml、sdo_geometry、urowid、interval(精度大于6位)和自定义类型。
  • 增量阶段不支持bfile,xml、interval、sdo_geometry、urowid、timestamp(精度大于6位)和自定义类型。
  • 增量阶段源库为Oracle物理备库(PHYSICAL STANDBY)时不支持解析lob类型数据(无法生成数据字典),如果增量同步的表中出现lob类型会导致增量同步异常。
  • 对于TIMESTAMP WITH TIME ZONE类型,根据目标库时区做转换后不得大于“9999-12-31 23:59:59.999999”。
  • 源库支持to_date和sys_guid函数做默认值。将其他函数作为default值时,需要目标库也有相同功能的函数。对于目标库不存在对应函数的情况,可能会出现以下结果:
    • 默认值函数可能会被置空。
    • 创建表失败,导致对象对比不一致或者任务失败。
  • 如果表中只有LOB字段,可能出现数据不一致性情况。
  • 如果Oracle中使用LOB类型各自的empty函数写入数据时,通过JDBC查询出来的值是空字符串,写入到目标库后是空字符串还是NULL取决于目标库对空字符串值的处理。
  • 针对无主键且无索引的表,非大字段的列必须大于3列,否则会因为无法全列匹配导致增量异常。
  • 不支持默认值含有表达式的函数的表的同步。
  • 不支持同步源库中的临时表。
  • 选择手动创建表结构时,目标库中的时间类型是否带有时区需要与源库中保持一致,否则可能会因为时区转换导致时间数据不一致。

源数据库要求

  • 库名、表名不支持的字符有:非ASCII字符、“. ”、 “>”、 “<”、 “\”、 “`”、 “|”、 “,”、 “? ”、 “! ”、 “"”和 “'”。
  • 不支持选择源数据库的空库进行同步。
  • 目前仅支持同步如下字符集:ZHS16GBK、AL32UTF8、UTF8、US7ASCII、WE8MSWIN1252、WE8ISO8859P1、WE8ISO8859P2、WE8ISO8859P4、WE8ISO8859P5、WE8ISO8859P7、WE8ISO8859P9、WE8ISO8859P13、WE8ISO8859P15。

目标数据库要求

  • 目标数据库实例的运行状态必须正常。
  • 目标数据库实例必须有足够的磁盘空间。
  • 增量同步的表要禁用外键,因为DRS并行回放会使得不同表之间的写入顺序和源库不一致,可能会触发外键约束限制,造成同步失败。
  • 支持目标数据库中的表比源数据库多列场景,但是需要避免以下场景可能导致的任务失败。
    • 目标端多的列要求非空且没有默认值,源端insert数据,同步到目标端后多的列为null,不符合目标端要求。
    • 目标端多的列设置固定默认值,且有唯一约束。源端insert多条数据后,同步到目标端后多的列为固定默认值,不符合目标端要求。

操作须知

  • 相互关联的数据对象要确保同时同步,避免因关联对象缺失,导致同步失败。
  • 表等对象名同步到目标库后会转换成小写,如ABC会转换为abc。因此增量同步阶段,选择的源库的表中不能存在仅大小写不同的表,可能会导致同步失败。
  • 如有特殊字符,业务连接Oracle数据库使用的编码需和Oracle数据库服务端编码一致,否则目标库可能会出现乱码。
  • 不使用DRS同步表结构(自建表结构)的场景下,无主键表如果因表结构问题导致任务失败,修复表结构后续传无法恢复,需要重置任务。
  • 同步表结构时,如果目标库存在与源库同名约束会导致建表失败。
  • 使用DRS同步表结构的场景下,同一个schema中,同步的表中,表、约束、索引等不能有忽略大小写后的同名对象,比如表"A"中有索引名"inx1", 表B中有索引名"a",表A和索引"a"忽略大小写重名了,会导致结构同步失败。多个schema映射到一个schema的场景,源库的多个schema中也不能包含同名但字母大小写不同的表、约束和索引。
  • 当Oracle字符集是WE8MSWIN1252时,CLOB列同步到目标库可能出现乱码,建议先修改源库字符集为AL32UTF8再同步数据。
  • Oracle中表结构长度(所有列长字节数之和,char、varchar2等类型字节长度和编码有关)超过65535时,可能导致同步失败。
  • Oracle归档日志文件大小必须大于单条数据最大值,避免单条数据日志跨文件(超过2个日志文件)导致的增量数据解析异常。
  • 对于Oracle RAC集群,建议使用SCAN IP+ SERVICE_NAMES方式创建任务,SCAN IP具有更强的容错性,更好的负载能力,更快的同步体验。
  • 源库为Oracle RAC时,如果需要使用SCAN IP配置DRS任务,需要保证SCAN IP、DRS节点的IP同时能与源库的所有VIP互通(Oracle内部机制),否则无法通过连通性检查。若不使用SCAN IP,可以使用某一节点的VIP,这种情况下DRS日志解析只会在VIP指定的RAC节点上进行。
  • 若源库为RAC,增量同步首次启动时所有RAC节点必须正常在线,否则增量启动会出现异常。
  • 若源库为RAC,增量同步时,不支持增加、减少节点数量,避免导致增量同步异常(为保证数据的强一致性)。
  • 同步过程中,不允许删除连接源和目标数据库的用户的用户名、密码、权限,或修改目标数据库的端口号。
  • 同步过程中,禁止对Oracle源库做resetlogs操作,否则会导致数据无法同步且任务无法恢复。
  • 同步过程中,不支持LOB类型的rollback操作,否则会导致同步任务失败。
  • DRS全量同步表结构时,源库中的char、varchar2类型长度在目标库会按照字节长自动扩大(因为目标库为字节长),至少扩大1.5倍。扩大倍数和源库目标库的字符集有关,例如同为UTF8的情况下,默认扩大3倍,同为GBK的情况下,默认扩大2倍。
  • 全量同步分区表的结构时会将该对象转为非分区的普通表,增量同步时,源库跟分区表相关的操作,在目标库执行可能会失败。
  • 索引同步只同步普通索引,主键等约束在表结构中进行同步。
  • 增量同步时,BLOB末尾的0x00、CLOB末尾的空格会被截断。
  • 增量同步过程中,支持部分DDL操作。
    • 表级同步支持alter table add column、alter table drop column、alter table rename column、alter table modify column以及truncate table的基本DDL,不支持默认值等的修改。
  • 表级映射不区分大小写,例如映射为abc与映射为ABC,同步到目标库后均为abc。
  • 任务再编辑增加新表时,请确保新增的表的事务都已提交,否则未提交的事务可能无法同步到目标库。建议在业务低峰期做增加表的操作。
  • 全量同步过程中,DRS会向目标库PostgreSQL写入大量数据,会导致PostgreSQL的wal日志量急剧增长,PostgreSQL的磁盘有被写满的风险。可以通过在全量同步前关闭PostgreSQL的日志备份功能,减少wal日志的生产,同步完成后再将其打开的方式进行规避。
    注意:

    关闭日志备份会影响数据库的灾备恢复,请根据实际情况谨慎选择。

我们使用cookie来确保您的高速浏览体验。继续浏览本站,即表示您同意我们使用cookie。 详情

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容