更新时间:2024-06-27 GMT+08:00
分享

Spark从Hive读取数据再写入HBase样例程序(Python)

功能介绍

在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。

代码样例

由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现。

下面代码片段仅为演示,具体代码参见SparkHivetoHbasePythonExample:

# -*- coding:utf-8 -*-

from py4j.java_gateway import java_import
from pyspark.sql import SparkSession

# 创建SparkSession
spark = SparkSession\
        .builder\
        .appName("SparkHivetoHbase") \
        .getOrCreate()

# 向sc._jvm中导入要运行的类
java_import(spark._jvm, 'com.huawei.bigdata.spark.examples.SparkHivetoHbase')

# 创建类实例并调用方法
spark._jvm.SparkHivetoHbase().hivetohbase(spark._jsc)

# 停止SparkSession
spark.stop()

相关文档