更新时间:2022-07-19 GMT+08:00

场景说明

场景说明

用户可以使用Spark调用HBase的接口来操作HBase表的功能。在Spark应用中,用户可以自由使用HBase的接口来实现创建表、读取表、往表中插入数据等操作。

数据规划

首先需要把数据文件放置在HDFS系统里。

  1. 本地新建文本文件,将以下内容复制保存到input_data1.txt。
    20,30,40,xxx
  2. 在HDFS上建立一个文件夹,“/tmp/input”,并上传input_data1.txt到此目录,命令如下。
    1. 在HDFS客户端,执行如下命令获取安全认证。

      cd /opt/client

      kinit -kt '/opt/client/Spark/spark/conf/user.keytab' <用于认证的业务用户>

      user.keytab文件位置请根据自己实际路径填写。

    2. 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input(hdfs dfs命令有同样的作用),创建对应目录。
    3. 在Linux系统HDFS客户端使用命令hadoop fs -put input_xxx.txt /tmp/input,上传数据文件。

如果开启了kerberos认证,需要将客户端的配置文件“spark-defaults.conf”中的配置项spark.yarn.security.credentials.hbase.enabled置为true。

开发思路

  1. 创建HBase表。
  2. 往HBase表中插入数据。
  3. 通过Spark Application读取HBase表的数据。