文档首页 > > 开发指南> Spark应用开发> 开发程序> 通过JDBC访问Spark SQL的程序> 场景说明

场景说明

分享
更新时间: 2020/03/25 GMT+08:00

场景说明

用户自定义JDBCServer的客户端,使用JDBC连接来进行数据表的创建、数据加载、查询和删除。

数据规划

  1. 确保以HA模式启动了JDBCServer服务,并至少有一个实例对外服务。在hdfs上创建"/home/data"目录,新增包含如下内容的文件并上传到hdfs的"/home/data"目录下。

    Miranda,32
    Karlie,23
    Candice,27

  2. 确保其对启动JDBCServer的用户有读写权限。
  3. 确保$SPARK_HOME/conf下有"hive-site.xml文件,且根据实际集群情况配置所需要的参数。

    示例
    <?xml version="1.0" encoding="UTF-8" standalone="no"?>
    <configuration>
        <property>
            <name>spark.thriftserver.ha.enabled</name>
            <value>true</value>
        </property>
    </configuration>

  4. 将代码的ThriftServerQueriesTest类中principal的值改为集群中$SPARK_HOME/conf/spark-defaults.conf配置文件中配置项spark.beeline.principal的值。

开发思路

  1. 在default数据库下创建child表。
  2. “/home/data”的数据加载进child表中。
  3. 查询child表中的数据。
  4. 删除child表。
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问