场景说明

场景说明

用户可以使用Spark调用HBase的接口来操作HBase表的功能。在Spark应用中，用户可以自由使用HBase的接口来实现创建表、读取表、往表中插入数据等操作。

数据规划

首先需要把数据文件放置在HDFS系统里。

1. 本地新建文本文件，将以下内容复制保存到input_data1.txt。

   20,30,40,xxx

2. 在HDFS上建立一个文件夹，“/tmp/input”，并上传input_data1.txt到此目录，命令如下。
   1. 在HDFS客户端，执行如下命令获取安全认证。

      cd /opt/client

      kinit -kt '/opt/client/Spark/spark/conf/user.keytab' <用于认证的业务用户>

      

      user.keytab文件位置请根据自己实际路径填写。

   2. 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input（hdfs dfs命令有同样的作用），创建对应目录。
   3. 在Linux系统HDFS客户端使用命令hadoop fs -put input_xxx.txt /tmp/input，上传数据文件。

如果开启了kerberos认证，需要将客户端的配置文件“spark-defaults.conf”中的配置项spark.yarn.security.credentials.hbase.enabled置为true。

开发思路

1. 创建HBase表。
2. 往HBase表中插入数据。
3. 通过Spark Application读取HBase表的数据。