更新时间:2024-10-18 GMT+08:00
源端为Oracle,目的端为DWS
该链路目前仅支持整库场景。
该链路目前需申请白名单后才能使用。如需使用该链路,请联系客服或技术支持人员。
约束限制
- Oracle版本支持:10、11、12、19 。
- Oracle 库需要开启归档日志,归档日志建议至少保留三天,开通归档日志详情请参考Oracle数据源如何开通归档日志、查询权限和日志解析权限?。
- Oracle 需表查询权限和日志解析权限,开通对应权限详情请参考Oracle数据源如何开通归档日志、查询权限和日志解析权限?。
整库场景
- 源端配置。
- 添加数据源,选择需要迁移的Oracle表。
图1 选择库表
库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。
- 添加数据源,选择需要迁移的Oracle表。
- 目标端配置。
图2 配置目标端参数
- 源库表和目标匹配策略:
- Schema匹配策略:配置目标数据Schema的匹配策略,使数据按照规划迁移至目标库。
- 表匹配策略:配置目标数据表的匹配策略,使数据按照规划迁移至目标表。同步对象为库级同步时,无此配置项。
- 与来源表同名:会迁移至目的端对应与来源表同名的表中。
- 自定义:支持用户指定目的端表名,也支持通过内置参数#{source_table_name}给源表名添加前后缀,变成目的端Hudi表的表名。
- 写入模式:选择数据写入模式。
- 批写最大数据量:根据表数据大小和作业内存使用,适当调整,数据范围1-10000000。
- 定时批写时间间隔:数据定时入库的间隔时间,时间1-1000, 单位为秒。
- 高级配置:通过设置以下参数配置数据写入的高级属性。
- sink.buffer-flush.max-size:根据作业配置内存和数据大小设置批写最大内存,单位:Mb。
- sink.case-sensitive:是否对字段大小写字母敏感,可选:true/false,当写入模式为COPY MODE,主键名称含大写字母时,需要设置为true。
- 源表与目标表映射:同步对象为库级同步时,无此配置项。
图3 配置源表与目标表映射
- 附加字段编辑:单击操作列“附加字段编辑”可为迁移后的DWS表中增加自定义字段,附加字段会成为一个新的字段加入到DWS表的建表中。
表1 附加字段值支持情况 类型
示例
常量
-
对于新建的表,用户可以在已有的源表字段基础上添加附加字段,可以自定义字段名(如custom_defined_col)、选择字段类型、填写字段值。
用户可同时添加多个附加字段。
- 自动建表:单击“自动建表”为列表中的表按照已配置规则自动建表。成功后表建立方式会显示为使用已有表。
- 附加字段编辑:单击操作列“附加字段编辑”可为迁移后的DWS表中增加自定义字段,附加字段会成为一个新的字段加入到DWS表的建表中。
- 源库表和目标匹配策略:
父主题: 配置源端和目标端参数