Oracle数据源
支持的版本
本数据集成服务全面支持云上RDS-Oracle及线下自建Oracle数据源,适配Oracle 19c、11c版本,可满足不同用户在多种部署环境下的数据同步需求。
使用前准备及限制
- 网络要求
Oracle数据源必须与CDM网络进行通讯,以确保数据传输的顺畅性。详情请参见网络打通。
- 权限要求
- 连接用户权限:需要连接用户具备resource角色,并在表空间下对数据表拥有SELECT权限。
- 写入权限:若需写入数据,连接用户需具备目标表的INSERT、UPDATE和DELETE权限。
- 表空间权限:连接用户需要在目标表空间中有足够的权限来创建和修改表。这通常需要UNLIMITED TABLESPACE权限。
- 角色权限:建议连接用户具备CONNECT角色权限,以确保能够连接到数据库。
- 特殊说明:Oracle暂不支持视图读取能力,因此无法从视图中读取数据。
驱动选择
- 驱动信息
关系数据库类型
驱动名称
获取地址
建议版本
Oracle
ORACLE_6
ojdbc6.jar
Oracle
ORACLE_7
ojdbc7.jar
Oracle
ORACLE_8
ojdbc8.jar
Oracle
历史版本
-
- 说明
- 不支持使用新版本(如 Oracle Database 21c (21.3) drivers),会导致创建作业时无法获取模式名。
- 建议使用 ojdbc8 的 12.2.0.1 版本,获取 ojdbc8.jar。
支持的数据类型
以Oracle 11c为基准,本数据集成服务兼容以下字段类型及其常见变体,确保在读写操作中能够准确处理各类数据:
类别 |
字段类型 |
Oracle 读取 |
---|---|---|
数值 |
NUMBER |
√ |
浮点数 |
BINARY FLOAT |
√ |
BINARY DOUBLE |
√ |
|
FLOAT |
√ |
|
字符型 |
CHAR |
√ |
NCHAR |
√ |
|
VARCHAR2 |
√ |
|
NVARCHAR2 |
√ |
|
时间 |
DATE |
√ |
TIMESTAMP |
√ |
|
TIMESTAMP WITH TIME ZONE |
√ |
|
TIMESTAMP WITH LOCAL TIME ZONE |
√ |
|
大对象 |
CLOB |
√ |
BLOB |
√ |
|
NCLOB |
√ |
|
二进制 |
RAW |
√ |
不支持 |
STRUCT |
x |
不支持 |
ROWID |
x |
不支持 |
UROWID |
x |
不支持 |
INTERVAL DAY TO SECOND |
x |
不支持 |
INTERVAL YEAR TO MONTH |
x |
不支持 |
BFILE |
x |
不支持 |
LONG |
x |
不支持 |
LONG RAW |
x |
支持的迁移场景
数据集成离线同步支持以下三种同步方式,以满足不同数据迁移场景的需求:
- 单表同步
适用于数据入湖和数据上云场景下,表或文件级别的数据同步。支持的数据源类型请参考表/文件同步支持的数据源类型。
- 分库分表同步
适用于数据入湖和数据上云场景下,多库多表同步场景。支持的数据源类型请参考分库分表同步支持的数据源类型。
- 整库迁移
适用于数据入湖和数据上云场景下,离线或自建数据库整体同步场景。支持的数据源类型请参考整库同步支持的数据源类型。
需要注意的是,分库分表与整库迁移能力会根据不同region的上线支持情况有所不同,具体支持情况以页面为准。以下是针对Oracle的支持迁移场景概览:
支持迁移场景 |
Oracle 单表读取 |
Oracle 单表写入 |
Oracle 分库分表读取 |
Oracle 分库分表写入 |
Oracle 整库读取 |
Oracle 整库写入 |
---|---|---|---|---|---|---|
是否支持 |
√ |
√ |
x |
√ |
x |
x |
核心能力速览
- 连接配置
配置项
支持情况
说明
用户/AK
√
支持用户认证,确保连接安全。
SSL 加密
x
支持 SSL 加密,保障数据传输安全,暂不支持。
SSL 认证支持
x
当前默认不开启证书认证能力。
私有证书支持
x
不支持私有证书。
连接配置调优
√
支持 connectTimeout 等连接配置调优,可根据实际需求优化连接性能。
自定义驱动
√
支持自定义驱动,提供更高的灵活性。
- 读取能力
配置项
支持情况
说明
分片并发
√
支持按主键或常见字段做水平分片,多线程并行抽取,显著提升吞吐效率。
脏数据处理
√
支持异常数据写入脏数据桶,避免因少量异常数据导致作业失败。
自定义字段
√
可在任务级追加计算列、常量列或脱敏函数,满足个性化业务需求。
增量读取
√
支持 where 条件和 SQL 模式,可实现增量读取。
流批读取方式
批读
支持批量读取,适用于中小数据量场景,可一次性处理数据,提高处理效率。
读取行数调优
√
可根据需求在连接中配置【单次请求行数】,合理控制数据传输量,优化性能,避免因数据量过大导致的传输延迟或系统压力。
- 写入能力
配置项
支持情况
说明
数据源调优参数
√
支持 batchSize、socketTimeout 等写入端优化配置,提升写入性能。
脏数据处理
√
支持异常数据写入脏数据桶,避免因少量异常数据导致作业失败。
冲突解决
x
不支持冲突解决机制。
导入前后处理
√
支持 preSql/delete 等操作,可在数据导入前后进行数据清洗和处理。
并发写入
√
支持并发写入,提升写入效率。
写入行数调优
√
可根据需求配置单次写入的行数,合理控制数据传输量,优化性能,避免因数据量过大导致的传输延迟或系统压力,该数据源不支持。
创建数据源
在DataArts Studio管理中心新建相应的数据源,详情请参见创建DataArts Studio数据连接。
创建数据集成离线作业
在DataArts Studio数据开发中新建Oracle集成作业,详情请参见新建离线处理集成作业。