更新时间:2024-11-21 GMT+08:00
分享

FlinkSQL HBase数据表开发规则

提前在HBase中创建表

Flink作业在HBase中找不到对应表会报错,所以需要提前在HBase中创建好对应的表。

HBase与Flink不在同一集群时只支持Flink和HBase均为普通模式集群的对接

当HBase与Flink为同一集群或互信的集群,支持FlinkServer对接HBase。

当HBase与Flink不在同一集群或不互信的集群,则只支持Flink和HBase均为普通模式集群的对接。

FlinkServer对接HBase时需要配置HBASE_CONF_DIR参数

  1. 以客户端安装用户登录安装客户端的节点,复制HBase的“/opt/client/HBase/hbase/conf/”目录下的所有配置文件至部署FlinkServer的所有节点的一个空目录,如“/tmp/client/HBase/hbase/conf/”。

    修改FlinkServer节点上面配置文件目录及其上层目录属主为omm。

    chown omm: /tmp/client/HBase/ -R
    • FlinkServer节点:

      登录Manager,选择“集群 > 服务 > Flink > 实例”,查看FlinkServer所在的“业务IP”。

    • 若FlinkServer实例所在节点与包含HBase服务客户端的安装节点相同,则该节点不执行此步骤。

  2. 登录Manager,选择“集群 > 服务 > Flink > 配置 > 全部配置”,搜索“HBASE_CONF_DIR”参数,在该参数的“值”中填写1中复制了HBase配置文件的FlinkServer的目录,如“/tmp/client/HBase/hbase/conf/”。

    若FlinkServer实例所在节点与包含HBase服务客户端的安装节点相同,则在HBASE_CONF_DIR”参数的“值”填写HBase的“/opt/client/HBase/hbase/conf/”目录。

  3. 填写完成后单击“保存”,确认修改配置后单击“确定”。
  4. 单击“实例”,勾选所有FlinkServer实例,选择“更多 > 重启实例”,根据界面提示重启实例。

相关文档