更新时间:2022-04-26 GMT+08:00
分享

配置Hive源端参数

作业中源连接为配置Hive连接时,源端作业参数如表1所示。

表1 Hive作为源端时的作业参数

参数名

说明

取值样例

数据库名称

输入或选择数据库名称。单击输入框后面的按钮可进入数据库选择界面。

default

表名

输入或选择Hive表名。单击输入框后面的按钮可进入表的选择界面。

该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步

TBL_E

读取方式

包括HDFS和JDBC两种读取方式。默认为HDFS方式,如果没有使用WHERE条件做数据过滤及在字段映射页面添加新字段的需求,选择HDFS方式即可。

  • HDFS文件方式读取数据时,性能较好,但不支持使用WHERE条件做数据过滤及在字段映射页面添加新字段。
  • JDBC方式读取数据时,支持使用WHERE条件做数据过滤及在字段映射页面添加新字段。

HDFS

分区过滤条件

读取方式为HDFS时,单击“显示高级属性”后显示此参数。

该参数表示抽取指定值的partition,可以配置多个值(空格分隔),也可以配置为字段取值范围,接受时间宏函数。时间宏函数的说明请参见使用时间宏变量完成增量同步

  • 单/多值过滤:

    "${dateformat(yyyyMMdd, -1, DAY)} ${dateformat(yyyyMMdd)}"

  • 范围过滤:

    "${value} >= ${dateformat(yyyyMMdd, -7, DAY)} && ${value} < ${dateformat(yyyyMMdd)}"

Where子句

读取方式为JDBC时,单击“显示高级属性”后显示此参数。

填写该参数表示指定抽取的WHERE子句,不指定则抽取整表。如果要迁移的表中没有WHERE子句的字段,则会迁移失败。

该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移

age > 18 and age <= 60

Hive作为数据源,CDM自动使用Hive数据分片文件进行数据分区。

分享:

    相关文档

    相关产品

close