文档首页/ 数据湖探索 DLI/ SQL语法参考（即将下线）/ Spark SQL语法参考（即将下线）/ 跨源连接HBase表/ 创建DLI表关联HBase
更新时间：2024-07-27 GMT+08:00
查看PDF
分享

创建DLI表关联HBase

功能描述

使用CREATE TABLE命令创建DLI表并关联HBase上已有的表。

Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。

跨源认证简介及操作方法请参考跨源认证简介。

前提条件

  • 创建DLI表关联HBase之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。
  • 请确保在DLI队列host文件中添加MRS集群master节点的“/etc/hosts”信息。

    如何添加IP域名映射，请参见《数据湖探索用户指南》中增强型跨源连接章节。

  • 该语法不支持安全集群。

语法格式

  • 单个RowKey 
    1
2
3
4
5
6
7
8
9
    		 
    CREATE TABLE [IF NOT EXISTS] TABLE_NAME (
  ATTR1 TYPE,
  ATTR2 TYPE,
  ATTR3 TYPE)
  USING [CLOUDTABLE | HBASE] OPTIONS (
  'ZKHost'='xx',
  'TableName'='TABLE_IN_HBASE',
  'RowKey'='ATTR1',
  'Cols'='ATTR2:CF1.C1, ATTR3:CF1.C2');
  • 组合RowKey 
    1
2
3
4
5
6
7
8
9
    		 
    CREATE TABLE [IF NOT EXISTS] TABLE_NAME (
  ATTR1 String,
  ATTR2 String,
  ATTR3 TYPE)
  USING [CLOUDTABLE | HBASE] OPTIONS (
  'ZKHost'='xx',
  'TableName'='TABLE_IN_HBASE',
  'RowKey'='ATTR1:2, ATTR2:10',
  'Cols'='ATTR2:CF1.C1, ATTR3:CF1.C2'

关键字

表1 CREATE TABLE关键字说明

参数

描述

USING [CLOUDTABLE | HBASE]

指定hbase datasource，"CLOUDTABLE"或"HBASE"二选一，大小写不敏感。

ZKHost

HBase集群的ZK连接地址。

获取ZK连接地址需要先创建跨源连接，管理控制台操作请参考增强型跨源连接。

  • 访问CloudTable集群，填写ZK连接地址（内网）。
  • 访问MRS集群，填写ZK所在节点IP与ZK对外端口，格式为："ZK_IP1:ZK_PORT1,ZK_IP2:ZK_PORT2"。
说明：

访问MRS集群，只支持创建增强型跨源连接并且需要配置主机信息，管理控制台操作请参考增强型跨源连接，相关API信息请参考创建增强型跨源连接。

TableName

指定在HBase集群中已创建的表名。

RowKey

指定作为rowkey的dli关联表字段，支持单rowkey与组合rowkey。单rowkey支持数值与String类型，不需要指定长度。组合rowkey仅支持String类型定长数据，格式为：属性名1:长度,属性名2:长度。

Cols

通过逗号分隔的DLI表字段与HBase表的列之间的对应关系。其中，冒号前面放置DLI表字段，冒号后面放置HBase表信息，用‘.’分隔HBase表的列族与列名。

注意事项

  • 若所要创建的表已经存在将报错，可以通过添加IF NOT EXISTS参数跳过该错误。
  • OPTIONS中的所有参数是必选的，参数名称大小写不敏感，但参数值大小写敏感。
  • OPTIONS中引号内的值前后不能带空格，空格也会被当做有效值。
  • 表名及列名的描述仅支持字符串常量。
  • 创建表时要说明列名及对应的数据类型，目前支持的数据类型为：boolean、short、int、long、float、double和string。
  • 作为RowKey的字段（如上述语法格式中的ATTR1），其值不能为null，长度要大于0，小于或等于32767。
  • Cols与RowKey中的字段加起来的数量必须与DLI表的字段保持一致，即表中所有的字段都到对应到Cols和RowKey中，但是顺序可以任意。
  • 组合Rowkey只支持String类型，在使用组合Rowkey时，每个属性后面必须带上长度。当Rowkey指定的字段只有一个的时候，该字段的类型可以是支持的所有数据类型，并且不需要填写长度。
  • 在组合Rowkey的场景中
    • 插入Rowkey数据时，如果某个属性的实际数据的长度比属性作为Rowkey时指定的长度要短，则会在数据后面补'\0'字符；如果某个属性的实际数据的长度比属性作为Rowkey时指定的长度要长，则会在实际插入HBase的时候进行截断。
    • 读取HBase上的Rowkey数据时，如果某个属性的实际数据的长度比属性作为Rowkey时指定的长度要短，则会抛出异常（OutofBoundException）；如果某个属性的实际数据的长度比属性作为Rowkey时指定的长度要长，则会在读取时进行截断。

示例

1
2
3
4
5
6
7
8
9
 
CREATE TABLE test_hbase(
ATTR1 int,
ATTR2 int,
ATTR3 string)
using hbase OPTIONS (
'ZKHost'='to-hbase-1174405101-CE1bDm5B.datasource.com:2181',
'TableName'='HBASE_TABLE',
'RowKey'='ATTR1',
'Cols'='ATTR2:CF1.C1, ATTR3:CF1.C2');
父主题： 跨源连接HBase表