文档首页 > > 用户指南> 作业管理> 配置作业源端参数> 配置HBase/CloudTable源端参数

配置HBase/CloudTable源端参数

分享
更新时间:2020/10/23 GMT+08:00

作业中源连接为配置HBase连接配置CloudTable连接时,即从MRS HBase、FusionInsight HBase、Apache HBase或者CloudTable导出数据时,源端作业参数如表1所示。

  1. CloudTable或HBase作为源端时,CDM会读取表的首行数据作为字段列表样例,如果首行数据未包含该表的所有字段,用户需要自己手工添加字段。
  2. 由于HBase的无Schema技术特点,CDM无法获知数据类型,如果数据内容是使用二进制格式存储的,CDM会无法解析。
  1. 从HBase/CloudTable导出数据时,由于HBase/CloudTable是无Schema的存储系统,CDM要求源端数值型字段是以字符串格式存储,而不能是二进制格式,例如数值100需存储格式是字符串“100”,不能是二进制“01100100”
表1 HBase作为源端时的作业参数

参数名

说明

取值样例

表名

导出数据的HBase表名。

该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步

TBL_2

列族

可选参数,导出数据所属的列族。

CF1&CF2

切分Rowkey

可选参数,选择是否拆分Rowkey,默认为“否”

Rowkey分隔符

可选参数,用于拆分Rowkey的分隔符,若不设置则不切分。

|

起始时间

可选参数,起始时间(包含该值),格式为“yyyy-MM-dd HH:mm:ss”,表示只抽取该时间及以后的数据。

该参数支持配置为时间宏变量,使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步

2019-01-01 20:00:00

终止时间

可选参数,终止时间(不包含该值),格式为“yyyy-MM-dd HH:mm:ss”,表示只抽取该时间以前的数据。

该参数支持配置为时间宏变量,详细说明请参见使用时间宏变量完成增量同步

2019-02-01 20:00:00

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问