CloudTable HBase输入流
功能描述
创建source流从表格存储服务CloudTable的HBase中获取数据，作为作业的输入数据。HBase是一个稳定可靠，性能卓越、可伸缩、面向列的分布式云存储系统，适用于海量数据存储以及分布式计算的场景，用户可以利用HBase搭建起TB至PB级数据规模的存储系统，对数据轻松进行过滤分析，毫秒级得到响应，快速发现数据价值。DLI可以从HBase中读取数据，用于过滤分析、数据转储等场景。
表格存储服务（CloudTable），是基于Apache HBase提供的分布式、可伸缩、全托管的KeyValue数据存储服务，为DLI提供了高性能的随机读写能力，适用于海量结构化数据、半结构化数据以及时序数据的存储和查询应用，适用于物联网IOT应用和通用海量KeyValue数据存储与查询等场景。CloudTable的更多信息，请参见《表格存储服务用户指南》。
前提条件
该场景作业需要运行在DLI的独享队列上，因此要与CloudTable HBase建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。
如何建立增强型跨源连接，请参考《数据湖探索用户指南》中“增强型跨源连接”章节。
如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。
语法格式
1 2 3 4 5 6 7 8 9 |
CREATE SOURCE STREAM stream_id (attr_name attr_type (',' attr_name attr_type)* )
WITH (
type = "cloudtable",
region = "",
cluster_id = "",
table_name = "",
table_columns = ""
)
(TIMESTAMP BY timeindicator (',' timeindicator)?);timeindicator:PROCTIME '.' PROCTIME| ID '.' ROWTIME
|
关键字
|
参数 |
是否必选 |
说明 |
|---|---|---|
|
type |
是 |
数据源类型，“CloudTable”表示数据源为表格存储服务。 |
|
region |
是 |
表格存储服务所在区域。 |
|
cluster_id |
是 |
待读取数据表所属集群id。 如何查看CloudTable的集群id，请参见《表格存储服务用户指南》中“查看集群基本信息”章节。 |
|
table_name |
是 |
待读取数据的表名，如需指定namespace，可表示为：namespace_name:table_name 。 |
|
table_columns |
是 |
待读取的列，具体形式如："rowKey,f1:c1,f1:c2,f2:c1"，并且保证与source相同的列数。 |
|
timeindicator |
否 |
在流中增加时间戳，可增加Processing Time时间戳或者Event Time时间戳。
说明：
|
注意事项
用来做时间戳的属性类型必须为long或者timestamp。
示例
从CloudTable的HBase中读取对象为car_infos的表。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
CREATE SOURCE STREAM car_infos (
car_id STRING,
car_owner STRING,
car_age INT,
average_speed INT,
total_miles INT
)
WITH (
type = "cloudtable",
region = "dc1-az1",
cluster_id = "209ab1b6-de25-4c48-8e1e-29e09d02de28",
table_name = "carinfo",
table_columns = "rowKey,info:owner,info:age,car:speed,car:miles"
);
|
