创建DLI表关联HBase

功能描述

使用CREATE TABLE命令创建DLI表并关联HBase上已有的表。

Spark跨源开发场景中直接配置跨源认证信息存在密码泄露的风险，优先推荐您使用DLI提供的跨源认证方式。

跨源认证简介及操作方法请参考跨源认证简介。

前提条件

• 创建DLI表关联HBase之前需要创建跨源连接。管理控制台操作请参考增强型跨源连接。
• 请确保在DLI队列host文件中添加MRS集群master节点的“/etc/hosts”信息。

  如何添加IP域名映射，请参见《数据湖探索用户指南》中增强型跨源连接章节。

• 该语法不支持安全集群。

语法格式

• 单个RowKey

  1 2 3 4 5 6 7 8 9

  CREATE TABLE [IF NOT EXISTS] TABLE_NAME ( ATTR1 TYPE, ATTR2 TYPE, ATTR3 TYPE) USING [CLOUDTABLE | HBASE] OPTIONS ( 'ZKHost'='xx', 'TableName'='TABLE_IN_HBASE', 'RowKey'='ATTR1', 'Cols'='ATTR2:CF1.C1, ATTR3:CF1.C2');

• 组合RowKey

  1 2 3 4 5 6 7 8 9

  CREATE TABLE [IF NOT EXISTS] TABLE_NAME ( ATTR1 String, ATTR2 String, ATTR3 TYPE) USING [CLOUDTABLE | HBASE] OPTIONS ( 'ZKHost'='xx', 'TableName'='TABLE_IN_HBASE', 'RowKey'='ATTR1:2, ATTR2:10', 'Cols'='ATTR2:CF1.C1, ATTR3:CF1.C2'

关键字

注意事项

• 若所要创建的表已经存在将报错，可以通过添加IF NOT EXISTS参数跳过该错误。
• OPTIONS中的所有参数是必选的，参数名称大小写不敏感，但参数值大小写敏感。
• OPTIONS中引号内的值前后不能带空格，空格也会被当做有效值。
• 表名及列名的描述仅支持字符串常量。
• 创建表时要说明列名及对应的数据类型，目前支持的数据类型为：boolean、short、int、long、float、double和string。
• 作为RowKey的字段（如上述语法格式中的ATTR1），其值不能为null，长度要大于0，小于或等于32767。
• Cols与RowKey中的字段加起来的数量必须与DLI表的字段保持一致，即表中所有的字段都到对应到Cols和RowKey中，但是顺序可以任意。
• 组合Rowkey只支持String类型，在使用组合Rowkey时，每个属性后面必须带上长度。当Rowkey指定的字段只有一个的时候，该字段的类型可以是支持的所有数据类型，并且不需要填写长度。
• 在组合Rowkey的场景中
  • 插入Rowkey数据时，如果某个属性的实际数据的长度比属性作为Rowkey时指定的长度要短，则会在数据后面补'\0'字符；如果某个属性的实际数据的长度比属性作为Rowkey时指定的长度要长，则会在实际插入HBase的时候进行截断。
  • 读取HBase上的Rowkey数据时，如果某个属性的实际数据的长度比属性作为Rowkey时指定的长度要短，则会抛出异常（OutofBoundException）；如果某个属性的实际数据的长度比属性作为Rowkey时指定的长度要长，则会在读取时进行截断。

示例

1
2
3
4
5
6
7
8
9

CREATE TABLE test_hbase(
ATTR1 int,
ATTR2 int,
ATTR3 string)
using hbase OPTIONS (
'ZKHost'='to-hbase-1174405101-CE1bDm5B.datasource.com:2181',
'TableName'='HBASE_TABLE',
'RowKey'='ATTR1',
'Cols'='ATTR2:CF1.C1, ATTR3:CF1.C2');