文档首页 > > 开发指南> Spark应用开发> 开发程序> Spark on HBase程序> 场景说明

场景说明

分享
更新时间: 2020/03/31 GMT+08:00

场景说明

用户可以使用Spark调用HBase的接口来操作HBase表的功能。在Spark应用中,用户可以自由使用HBase的接口来实现创建表、读取表、往表中插入数据等操作。

数据规划

首先需要把数据文件放置在HDFS系统里。

  1. 本地新建文本文件,将以下内容复制保存到input_data1.txt。
    20,30,40,xxx
  2. 在HDFS上建立一个文件夹,“/tmp/input”,并上传input_data1.txt到此目录,命令如下。
    1. 在HDFS客户端,执行如下命令获取安全认证。

      cd /opt/client

      kinit -kt '/opt/client/Spark/spark/conf/user.keytab' <用于认证的业务用户>

      user.keytab文件位置请根据自己实际路径填写。

    2. 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /tmp/input(hdfs dfs命令有同样的作用),创建对应目录。
    3. 在Linux系统HDFS客户端使用命令hadoop fs -put input_xxx.txt /tmp/input,上传数据文件。

如果开启了kerberos认证,需要将客户端的配置文件“spark-defaults.conf”中的配置项spark.yarn.security.credentials.hbase.enabled置为true。

开发思路

  1. 创建HBase表。
  2. 往HBase表中插入数据。
  3. 通过Spark Application读取HBase表的数据。
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问