更新时间:2024-08-03 GMT+08:00

使用MRS Spark SQL访问DWS表

华为云提供MapReduce服务(MRS),可在云上快速构建和运营全栈云原生大数据平台。它包含HDFS、Hive、HBase、Spark等大数据组件,专为分析海量企业数据而量身定制。

Spark提供了类似SQL的Spark SQL语言,用于对结构化数据进行操作。使用Spark SQL,可以访问不同的数据库,用户可以从这些数据库中提取数据,处理并加载到不同的数据存储中。

本实践演示如何使用MRS Spark SQL访问GaussDB(DWS)数据。

本章节仅适用于MRS 3.x及之后版本。

前提条件

  • 创建MRS集群,包含Spark组件。
  • 如果MRS集群开启了Kerberos认证,登录FusionInsight Manager页面,选择“系统 > 权限 > 用户”,添加一个人机用户sparkuser,用户组(hadoop、hive),主组(hadoop)。并参考添加Spark2x的Ranger访问权限策略章节,添加“ADD JAR操作”权限。如果MRS集群未开启Kerberos认证,则无需创建用户。
  • 安装MRS集群客户端,具体请参考安装客户端
  • 创建GaussDB(DWS)集群,为确保网络连通,GaussDB(DWS)集群需与MRS集群“可用区”、“虚拟私有云”、“安全组”配置相同。
  • 已获取连接GaussDB(DWS)数据库的IP地址、端口、数据库名称、用户名和密码。此外,操作用户必须具有GaussDB(DWS)表的读写权限。

操作步骤

  1. 准备数据,在GaussDB(DWS)集群中创建数据库和表:

    1. 登录GaussDB(DWS)管理控制台,单击DWS集群“操作”列的“登录”。
    2. 登录现有GaussDB(DWS)集群的默认数据库gaussdb,执行以下命令,创建数据库“dws_test”。

      CREATE DATABASE dws_test;

    3. 连接到创建的新数据库,执行以下命令,创建表“dws_order”。

      CREATE SCHEMA dws_data;

      CREATE TABLE dws_data.dws_order

      ( order_id VARCHAR,

      order_channel VARCHAR,

      order_time VARCHAR,

      cust_code VARCHAR,

      pay_amount DOUBLE PRECISION,

      real_pay DOUBLE PRECISION );

    4. 执行以下命令插入数据到表“dws_order”中。

      INSERT INTO dws_data.dws_order VALUES ('202306270001', 'webShop', '2023-06-27 10:00:00', 'CUST1', 1000, 1000);

      INSERT INTO dws_data.dws_order VALUES ('202306270002', 'webShop', '2023-06-27 11:00:00', 'CUST2', 5000, 5000);

    5. 查询表数据,验证数据是否插入。

      SELECT * FROM dws_data.dws_order;

  2. 下载GaussDB(DWS)数据库JDBC驱动并上传到MRS集群。

    1. 登录GaussDB(DWS)管理控制台,单击左侧的“连接管理”,下载JDBC驱动,如下图所示:

    2. 解压,获取“gsjdbc200.jar”文件,并上传到MRS集群主Master节点,例如上传到“/tmp”目录下。
    3. 使用root用户登录MRS集群主Master节点,执行如下命令:

      cd {客户端安装目录}

      source bigdata_env

      kinit sparkuser (首次认证需要修改密码,未开启Kerberos认证,则无需执行kinit命令。)

      hdfs dfs -put /tmp/gsjdbc200.jar /tmp

  3. 在MRS Spark中创建数据源表,并访问DWS表:

    1. 登录Spark客户端节点,执行如下命令:

      cd 客户端安装目录

      source ./bigdata_env

      kinit sparkuser

      spark-sql --master yarn

    2. 执行如下命令,添加驱动程序jar:

      add jar hdfs://hacluster/tmp/gsjdbc200.jar;

    3. 执行如下命令,在Spark中创建数据源表,访问DWS数据:

      CREATE TABLE IF NOT EXISTS spk_dws_order

      USING JDBC OPTIONS (

      'url'='jdbc:gaussdb://192.168.0.228:8000/dws_test',

      'driver'='com.huawei.gauss200.jdbc.Driver',

      'dbtable'='dws_data.dws_order',

      'user'='dbadmin',

      'password'='xxx');

    4. 查询Spark表,验证显示的数据是否与DWS数据相同:

      SELECT * FROM spk_dws_order;

      可以验证返回的数据与1中所示的数据相同。