更新时间:2024-10-24 GMT+08:00

配置MRS Hudi源端参数

作业中源连接为MRS Hudi连接时,源端作业参数如表1所示。

表1 MRS Hudi作为源端时的作业参数

参数类型

参数名

说明

取值样例

基本参数

源连接名称

选择已配置的MRS Hudi连接。

hudi_from_cdm

数据库名称

输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。

default

表名

输入或选择Hudi表名。单击输入框后面的按钮可进入表的选择界面。

该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步

说明:

如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。

TBL_E

高级属性

Where子句

填写该参数表示指定抽取的Where子句,不指定则抽取整表。如果要迁移的表中没有Where子句的字段,则会迁移失败。

该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移

说明:

如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。

age > 18 and age <= 60