Scala样例代码

功能简介

使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。

样例代码

定义SQL语句。SQL语句必须为单条语句，注意其中不能包含“;”。示例：

val sqlList = new ArrayBuffer[String]
sqlList += "CREATE TABLE CHILD (NAME STRING, AGE INT) " +
"ROW FORMAT DELIMITED FIELDS TERMINATED BY ','"
sqlList += "LOAD DATA INPATH '/home/data' INTO TABLE CHILD"
sqlList += "SELECT * FROM child"
sqlList += "DROP TABLE child"

样例工程中的data文件需要放到JDBCServer所在机器的home目录下
保证本地的data文件和创建的表的所属的用户和用户组保持一致

拼接JDBC URL。

HA模式下url的host和port必须为“ha-cluster”。

普通集群需要将样例代码中com.huawei.bigdata.spark.examples.ThriftServerQueriesTest.scala中第61、62行代码

val sb = new StringBuilder("jdbc:hive2://ha-cluster/default"

+ securityConfig)

改为val sb = new StringBuilder("jdbc:hive2://ha-cluster/default");
```
val HA_CLUSTER_URL = "ha-cluster"
val sb = new StringBuilder(s"jdbc:hive2://$HA_CLUSTER_URL/default;")
val url = sb.toString()
```

加载Hive JDBC驱动。

Class.forName("org.apache.hive.jdbc.HiveDriver").newInstance();

获取JDBC连接，执行HQL，输出查询的列名和结果到控制台，关闭JDBC连接。

在网络拥塞的情况下，您还可以设置客户端与JDBCServer连接的超时时间，可以避免客户端由于无限等待服务端的返回而挂起。使用方式如下：

在执行“DriverManager.getConnection”方法获取JDBC连接前，添加“DriverManager.setLoginTimeout(n)”方法来设置超时时长，其中n表示等待服务返回的超时时长，单位为秒，类型为Int，默认为“0”（表示永不超时）。

var connection: Connection = null
var statement: PreparedStatement = null
try {
  connection = DriverManager.getConnection(url)
  for (sql <- sqls) {
    println(s"---- Begin executing sql: $sql ----")
    statement = connection.prepareStatement(sql)

    val result = statement.executeQuery()

    val resultMetaData = result.getMetaData
    val colNum = resultMetaData.getColumnCount
    for (i <- 1 to colNum) {
      print(resultMetaData.getColumnLabel(i) + "\t")
    }
    println()

    while (result.next()) {
      for (i <- 1 to colNum) {
        print(result.getString(i) + "\t")
      }
      println()
    }
    println(s"---- Done executing sql: $sql ----")
  }
} finally {
  if (null != statement) {
    statement.close()
  }

  if (null != connection) {
    connection.close()
  }
}

父主题： 通过JDBC访问Spark SQL的程序

上一篇：Java样例代码

下一篇：Python样例代码