更新时间:2024-05-11 GMT+08:00
HBase输入
概述
“HBase输入”算子,将HBase表的指定列转换成同等数量的输入字段。
输入与输出
- 输入:HBase表列
- 输出:字段
参数说明
参数 |
含义 |
类型 |
是否必填 |
默认值 |
---|---|---|---|---|
HBase表类型 |
配置HBase表类型,可选项为normal(普通表)和phoenix表。 |
enum |
是 |
normal |
HBase表名 |
配置HBase表名。仅支持一个HBase表。 |
string |
是 |
无 |
HBase输入字段 |
配置HBase输入信息:
|
map |
是 |
无 |
数据处理规则
- 当配置HBase表名不存在时,作业提交失败。
- 当配置的列名与HBase表列名不匹配时,读取不到数据,导入数据条数会为0。
- 配置输入字段列数,大于原始数据实际包含字段列数,全部数据成为脏数据。
- 当字段的值与实际的类型不匹配时,该行数据会成为脏数据。
样例
以HBase导出到sqlserver2014数据库为例。
在sqlserver2014上创建一张空表test_1用于存储HBase数据。执行以下语句:
create table test_1 (id int, name text, value text);
配置“HBase输入”算子,生成三个字段A、B和C:
设置了数据连接器后,可以单击
,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可,无需逐一手动添加。此操作会覆盖表格内已有数据。
通过“表输出”算子,将A、B和C输出到test_1表中:
select * from test_1;
父主题: 输入算子