更新时间:2024-08-03 GMT+08:00

Flink HBase样例程序开发思路

本章节适用于MRS 3.2.0及以后版本。

典型场景说明

本样例介绍通过Flink API作业读写HBase数据。

数据规划

准备HBase配置文件,通过Manager下载集群配置,获取“hbase-site.xml”文件。

开发思路

  1. 写HBase:
    1. 通过参数指定“hbase-site.xml”文件的父目录,Flink Sink可以获取到HBase的Connection。
    2. 通过Connection判断表是否存在,如果不存在则创建表。
    3. 将接收到的数据转化成Put对象,写到HBase。
  2. 读HBase:
    1. 通过参数指定“hbase-site.xml”文件的父目录,Flink Source可以获取到HBase的Connection。
    2. 通过Connection判断表是否存在,如果不存在则作业失败,需要通过HBase Shell创建表或上游作业创建表。
    3. 读取HBase中的数据,将Result数据转化成Row对象发送给下游算子。